论文部分内容阅读
循环神经网络(Recurrent Neural Network,RNN)是目前最有前景的深度学习网络之一,由RNN引申出的很多改进结构已经被广泛运用在语音识别、机器翻译和DNA序列分析等方向中。在智能电网领域中,收集用户的行为数据并通过RNN或者基于RNN的改进网络进行预测分析已成负荷预测的主流。在竞争激烈的电力市场中,短期电力负荷的预测对于消费者和生产者都至关重要,高准确性的预测能帮助电力公司合理的规划资源并及时采取适当的措施来平衡电力的供需关系,同时也可以为消费者提供高性价比的电力服务。本文主要以电力负荷预测的基本理论为基础,提出一种与注意力机制相结合的RNN改进网络(即长短期记忆网络Long Short-Term Memory,LSTM)作为新的电力负荷预测模型,并将传统LSTM网络在准确性和速度方面与本文提出的新模型进行对比。利用实际的负荷数据在两种模型中进行仿真后,验证得到新型网络结构与传统LSTM网络相比在准确性方面有了提升,训练时长也有缩短。本文主要做了如下工作:(1)根据历史负荷数据的特性以及输入向量之间的相关性,搭建以RNN网络为基础的两种不同的LSTM电力负荷预测模型。针对迭代后因激活函数求导后收敛而导致梯度消失的问题,提出将传统LSTM网络与注意力机制相结合的解决方案,弥补了传统LSTM网络在梯度下降甚至消失的情况下引起的长时记忆失效的缺陷。与传统LSTM网络采用遗忘门的结构缓解梯度消失的方法不同,本文提出的模型主要依靠输入向量动态的分配权重完成对信号的实时控制来削弱梯度消失的影响。(2)针对所有输入向量进行数据预处理和归一化的工作,并根据样本数据的特性对神经网络结构进行设计。因为获取到的历史数据有空缺和噪声的现象,所以对输入向量进行添补和去噪的工作,减少了样本数据因不符合模型而产生预测偏差的可能性。将输入向量均衡化到一定范围内,降低了由非常规样本数据导致的不良影响,并通过控制变量法确定神经网络的超参数。(3)将处理过的样本数据输入传统LSTM网络和结合注意力机制的LSTM网络两种模型进行仿真,选取相对误差(Relative Error,RE)与绝对误差(Absolute Error,AE)作为评判指标。通过对比两种模型的预测结果得到结合注意力机制的LSTM误差相对更小的结论,从而证明了结合注意力机制的LSTM在电力负荷预测中可以提高预测的准确率以及缩短训练时间。