激活函数和权重初始化的问题

发布于 2020-10-24  256 次阅读


激活函数和权重初始化的问题

激活函数是否以零为中心对收敛速度的影响

收敛速度

这里首先需要给收敛速度做一个诠释。模型的最优解即是模型参数的最优解。通过逐轮迭代,模型参数会被更新到接近其最优解。这一过程中,迭代轮次多,则我们说模型收敛速度慢;反之,迭代轮次少,则我们说模型收敛速度快。

参数更新

深度学习一般的学习方法是反向传播。简单来说,就是通过链式法则,求解全局损失函数 $L(x)$对某一参数$w$的偏导数(梯度);而后辅以学习率 $η$,向梯度的反方向更新参数$w$。
$$
w \gets w - \eta\cdot\frac{\partial L}{\partial w}.
$$
考虑学习率$η$是全局设置的超参数,参数更新的核心步骤即是计算$\frac{∂L}{∂w}$。再考虑到对于某个神经元来说,其输入与输出的关系是
$$
f(x,w,b) = f(z) = f\Bigl(\sum_iw_ix_i + b\Bigr).
$$
因此,对于参数$w_i$来说,
$$
\frac{\partial L}{\partial w_i} = \frac{\partial L}{\partial f}\frac{\partial f}{\partial z}\frac{\partial z}{\partial w_i} = x_i \cdot \frac{\partial L}{\partial f}\frac{\partial f}{\partial z}.
$$
因此,参数的更新步骤变为
$$
w_i \gets w_i - \eta x_i\cdot \frac{\partial L}{\partial f}\frac{\partial f}{\partial z}.
$$

更新方向

由于$w_i$是上一轮迭代的结果,此处可视为常数,而$η$是模型超参数,参数$w_i$的更新方向实际上由$x_i \cdot \frac{\partial L}{\partial f}\frac{\partial f}{\partial z}$决定。

又考虑到$\frac{\partial L}{\partial f},\frac{\partial f}{\partial z}$对于所有的$w_i$来说是常数,因此各个$w_i $更新方向之间的差异,完全由对应的输入值$x_i$的符号决定。

以零为中心的影响

至此,为了描述方便,我们以二维的情况为例。亦即,神经元描述为
$$
f(x,w,b) = f\bigl(w_0x_0 + w_1x_1 + b\bigr).
$$
现在假设,参数$w_0$, $w_1$的最优解$w_0^∗$,$w_1^∗$满足条件

$$
\begin{cases}
w_0 < w_0^* \\
w_1\geqslant w_1^{*}
\end{cases}
$$

这也就是说,我们希望$w_0$适当增大,但希望$w_1$适当减小。考虑到上一小节提到的更新方向的问题,这就必然要求$x_0$和$x_1$符号相反。

但在 Sigmoid 函数中,输出值恒为正。这也就是说,如果上一级神经元采用 Sigmoid 函数作为激活函数,那么我们无法做到$x_0$和 $x_1$符号相反。此时,模型为了收敛,不得不走 Z 字形逼近最优解。

如图,模型参数走绿色箭头能够最快收敛,但由于输入值的符号总是为正,所以模型参数可能走类似红色折线的箭头。如此一来,使用 Sigmoid 函数作为激活函数的神经网络,收敛速度就会慢上不少了。

初始权重对网络的影响

1.初始权重为0

假设输入为$(x_1,x_2,x_3)$,隐藏层为1,隐藏层单元为2,输出为$y$,则神经网络计算如下

$$
z_1=w_{11}x_1+w_{12}x_2+w_{13}x_3+b \\
z_2=w_{21}x_1+w_{22}x_2+w_{23}x_3+b
$$

由于权重都为0,所以使得$z_1,z_2$为相同值,经过激活函数后也会得到同一输出,而在反向传播计算梯度时,我们得到不同权值的偏导数相同,则神经网络失去了学习不同特征的能力

在神经网络中,如果将权值初始化为 0 ,或者其他统一的常量,会导致后面的激活单元具有相同的值,所有的单元相同意味着它们都在计算同一特征,只会得到若干个相同的神经元

2.初始化权重为很小的接近于0和1的随机数

针对
$$
y=w_{21} \times f(w_{11}x_1+w_{12}x_2)+\cdot \cdot \cdot
$$

通过反向传播可以得到

$$
\frac{\partial y}{\partial w_{11}} = \frac{\partial y}{\partial f}\frac{\partial f}{\partial z}\frac{\partial z}{\partial w_{11}} = w_{21} \cdot \frac{\partial y}{\partial f}.x_1
$$

使用cs231n的图片来直观表示一下

权重接近0

通过观察得到传播的梯度大小是和权重的值成正比的,所以如果其值很小那么得到的梯度也是很小的,对于网络较深来说会使得梯度消失,从而无法去迭代下降

权重接近1

针对$tanh$来说所有的值又接近于1和-1,那么$\frac{\partial y}{\partial f}$又会接近0,会使得网络饱和,也无法进行迭代下降

而解决的办法有使用Xavier权重初始化等等,不再赘述


浪子三唱,不唱悲歌