神经网络动量因子 | 石锅拌饭

[chunchengwei]

https://chunchengwei.github.io/ai/shen-jing-wang-luo-dong-liang-yin-zi/

反向传播算法中，学习率 $\eta$ 越小，每次迭代下降的步长越小，轨迹空间越平滑，学习速度越慢，提 $\eta$ 会加快学习速度，但网络权值的变化不稳定。为此，D.E. Rumlhart提出一种，既能加快学习速度，又能保持稳定的改进方法。