论文部分内容阅读
本论文针对回归神经网络的结构与性能、进化算法与回归神经网络的结合以及进化回归神经网络在化工过程软测量方面的应用展开研究。 首先针对三个不同特点的时序关联数据建模及预测的标准问题,采用不同的建模数据结构,对比性地研究了前向网络与回归神经网络对时序关联数据的建模及预测能力。仿真结果表明使用前向网络为复杂时序数据建模,必须采用包含了历史信息的样本数据,而利用具有内部隐含状态的回归神经网络,无需获知序列的时序特点,仅仅采用最简单的动态时序关系样本数据就能够为对应的数据序列建立具有良好预测能力的模型。 在明确了回归神经网络的应用专长之后,给出了一个回归神经网络的综合结构并对几种典型的基于梯度下降的回归神经网络训练算法加以概括,上述算法大都对网络结构有所限制,计算复杂度高且难以推广,限制了对回归神经网络性能及应用的深入研究。相比之下,进化算法对神经元激活函数及网络误差函数没有要求,用于训练不同结构回归神经网络具有通用性,无需复杂的梯度计算,且训练过程不易受到陷入局部极小问题的困扰,两者的结合是很有意义的研究方向。 作为一种强有力的全局优化技术,进化算法对搜索空间多个位置的群体,而不是单个位置展开搜索,因而成功应用于多种优化问题,其中也包括神经网络结构与权值的进化优化,进化算法与神经网络相结合逐渐成为近年来软计算科学领域的一个研究热点。对现有研究成果的归纳总结表明得到最广泛应用的遗传算法并不适用于回归神经网络这样复杂结构的设计与训练,而目前已经出现的基于进化算法的神经网络系统,尤其是进化回归神经网络系统,存在着编码方式不明确;对网络结构,尤其是隐层神经元的连接有诸多限制;参数设定过于随意;过于强调结构变异及局部训练,以至系统复杂度高,进化效率低下等问题,结合进化算法不同分支的特色,本文提出并实现了一个简单实用的进化回归神经网络系统BERNN,主要针对固定结构全连接回归神经网络的权值进行优化。基于该系统,完成了关于回归神经网络对时序关联数据建模及预测能力研究的主要仿真。仿真结果表明,该系统可以针对特定问题寻找到具有合适权值分布的回归神经网络模型。 针对BERNN系统存在的搜索过程漫长,进化效率低等问题从三个方面着手对其进行了改进:首先根据训练过程中网络拟合误差的变化情况,提出了一种可切换的适应度评估函数设定方案,使得适应度能够始终保持对训练误差的敏感性,保证选择机制正确而有效地复制优良个体;进一步的,针对均匀变异对个体变异