论文部分内容阅读
可再生能源的开发利用方式包含集中式和分布式。微电网(microgrid,简称微网)作为分布式可再生能源的重要利用形式,在世界范围内获得了快速发展。然而,分布式光伏、风电等可再生能源的随机性和波动性给微电网的调度运行带来极大挑战。日内在线优化作为微电网运行的重要环节,对保障系统的安全经济运行、新能源的友好接入具有重要作用。目前微电网日内在线优化运行主要采用模型预测控制(model predictive control,MPC)等传统在线优化算法。MPC作为一种确定性优化方法,其在决策的最优性、应对新能源随机性等方面存在诸多不足,不利于系统的最优经济运行。近似动态规划(approximate dynamic programming,ADP)为一种随机优化算法,近年来获得了学者的广泛关注。近似动态规划算法基于贝尔曼(Bellman)最优性原理,通过近似求解策略克服了动态规划面临的“维数灾”难题,同时也能保证决策的近似全局最优性,其在电力系统调度运行中具有广阔的应用前景。本文在充分调研和总结当前微电网日内在线优化研究现状的基础上,针对微电网在线优化模型的特点及利用的系统预测信息的不同,分层递进地提出了分段线性函数ADP、表函数ADP、深度强化学习和代价函数近似等多种微电网在线优化算法。主要研究内容包括:(1)针对传统MPC算法难以获得全局最优解这一不足,提出了采用分段线性函数ADP的微电网日内在线优化算法。首先建立了计及线性化网络潮流约束的微电网调度模型,通过分析分段线性函数ADP算法中分段线性函数斜率所代表的物理含义,提出了基于储能电量边际效应的斜率更新方法,显著提高了APD算法的收敛速度。仿真结果表明,与现有微电网日内在线优化方法相比,所提ADP算法的在线优化效果更佳。所提算法仅需系统当前状态信息和近似值函数便可作出近似全局最优决策,避免了风电、光伏功率等随机量的日内预测误差对在线决策的影响,为微电网日内优化运行提供了新方法。(2)针对前述微电网模型中的线性化网络潮流存在建模误差以及电池储能建模不够精确的问题,建立了同时考虑交流潮流约束及电池精细化运行特性的微电网非线性优化模型,提出了基于表函数ADP的微电网在线优化策略。采用表函数近似真实的值函数,并通过时段解耦,将原混合整数非线性规划(mixed-integer nonlinear programming,MINLP)问题分解为多个只含连续变量的非线性规划(nonlinear programming,NLP)子问题,降低了模型的求解难度。微电网仿真算例验证了所提算法求解多时段MINLP问题的有效性,结果表明所提算法的在线优化效果优于MPC、PSO等传统算法。(3)考虑到表函数的拟合及学习能力有限,且(1)和(2)中的方法均未充分利用日内预测信息,为进一步提高微电网在线决策的智能性,提出了基于深度强化学习的微电网在线优化算法(deep reinforcement learning based microgrid on-line optimization algorithm,DRL-MG)。通过合理设计深度强化学习算法的状态变量及决策变量,解决了约束条件过多和决策空间过大给深度神经网络带来的应用难题。所提算法能够充分利用日前及日内滚动更新预测信息,使得在线决策更优。仿真研究表明,相比于表函数ADP算法和MPC策略,所提算法的在线决策效果更好。(4)微电网中可控微型发电机组过多会导致(3)提出的DRL-MG算法的决策空间过大,从而带来决策困难,针对该问题进一步提出了采用参数化代价函数近似(parametric cost function approximation,PCFA)算法的微电网在线优化策略。PCFA也可充分利用微电网日前及日内预测信息。PCFA算法的建模方法与MPC相似,不同之处在于PCFA通过在约束条件中引入参数因子,使得当前决策可应对日内风电功率预测误差带来的随机性。针对本章的非凸优化问题求解,为寻找最优的参数,提出了基于随机梯度下降法的参数寻优算法。仿真结果表明,相比于MPC,PCFA算法可以获得更好的在线优化效果。该算法为较大规模微电网的最优在线运行提供了新途径。