一直以来，我们都不知道为什么深度神经网络的损失能降到零，降到零不代表着全局最优了么？这不是和一般 SGD 找到的都是局部极小点相矛盾么？最近 CMU、北大和 MIT 的研究者分析了深层全连接网络和残差网络，并表示使用梯度下降训练过参数化的深度神经网络真的能找到全局最优解。

用一阶方法训练的神经网络已经对很多应用产生了显著影响，但其理论特性却依然是个谜。一个经验观察是，即使优化目标函数是非凸和非平滑的，随机初始化的一阶方法（如随机梯度下降）仍然可以找到全局最小值（训练损失接近为零），这是训练中的第一个神秘现象。令人惊讶的是，这个特性与标签无关。在 Zhang 等人的论文中，作者用随机生成的标签取代了真正的标签，但仍发现随机初始化的一阶方法总能达到零训练损失。

人们普遍认为过参数化是导致该现象的主要原因，因为神经网络只有具备足够大的容量时才能拟合所有训练数据。实际上，很多神经网络架构都高度过参数化。例如，宽残差网络（Wide Residual Network）的参数量是训练数据的 100 倍。

训练深度神经网络的第二个神秘现象是「更深的网络更难训练。」为了解决这个问题，何恺明等人在 2006 年提出了深度残差网络（ResNet）架构，用随机梯度下降方法来训练显著具有更多层数的神经网络。理论上来说，Hardt 和 Ma 表明，线性网络中的残差连接可以阻止梯度消失为零，但使用非线性激活函数的神经网络还无法利用残差连接的优势。

在本文中，作者将揭开这两个神秘现象的面纱。具体而言，作者们从理论上分析了损失函数在梯度下降上的收敛情况，即采用全连接网络和残差网络架构下的损失函数收敛情况。作者关注根据欧式距离定义的损失函数，并假设激活函数是 Lipschitz 和平滑的。这种假设适用于很多激活函数，包括 soft-plus。

首先考虑全连接前馈网络。作者表明，如果层级的神经元数量，则随机初始化的梯度下降会以线性速率收敛到零训练损失。

接下来考虑 ResNet 架构。作者表明，只要中间层的宽度 m = Ω (poly(n, H))，则随机初始化的梯度下降会以线性速率收敛到零训练损失。与第一个结果相比，ResNet 对网络层数的依赖呈指数级上升。该理论阐明了利用残差连接的优势。

最后，作者利用同样的技术来分析卷积 ResNet。作者表明，如果 m = poly(n, p, H)，其中 p 是图像块数量，则随机初始化的梯度下降会达到零训练损失。

论文：Gradient Descent Finds Global Minima of Deep Neural Networks

论文地址：https://arxiv.org/pdf/1811.03804.pdf

更多HKSAIR及行业资讯，敬请关注香港人工智能与机器人学会公众号