论文部分内容阅读
通过对梯度优化方法进行分析，指出梯度法实际上是一种纯积分控制器。由此可以解释在应用梯度法时，当优化步长小时，收敛慢；而当优化步长大时往往引起不稳定的现象。在此基础上，根据反馈控制的思想，提出了一种称之为ＰＩＤ梯度优化方法以改进梯度法的收敛性和稳定性。然后，进一步提出了带动量项的ＰＩＤ梯度法以逃避局部极值并讨论了算法的收敛特性。进而给出了在梯度一定的条件下，所提出的算法比传统的带动量的梯度法收敛快的条件。