Artificial Neural Networks

ANN 可以用来为非线性函数模型,(系统辨识)

用 ANN 来做非线性控制。

前向神经网络在

BP算法缺陷

非线性方程,有局部极小点。BP算法在收敛的时候,如果学习率选择的不合适,很有可能掉到局部极小点里,这就会导致也完成了神经网络训练,但测试效果很差。

学习速度无法满足要求。简单非线性函数就要花费很长时间来训练。每次控制周期要50ms,无法满足控制系统实时性的要求。

如何改进?

提出改进思路:

  • 提高收敛速度
  • 避免掉进局部极小点
  • 提高神经网络的泛化能力

一些思路:

  • 算法中加入动量矩来调节学习速度,来避免收敛的时候误差曲面过于平坦。
\[\omega(t+1) = \omega(t) - \eta \frac{\partial E}{\partial \omega(t) } + \alpha [ \omega(t) - \omega(t-1)]\] \[\]