基于多智能体强化学习的主动配电网分区协同电压控制研究
摘要
随着国家双碳战略的提出，分布式电源在配电网中的渗透率不断提高，有效地提高
了能源利用率、减轻了环境负担。同时，高比例分布式电源并网使传统的配电网转变为
多电源的主动配电网，改变了潮流分布，引起潮流倒送；而且分布式电源出力的不确定
性还会导致电压频繁波动甚至越限，将影响配电网的供电质量。这些都给配电网的运行
和控制带来诸多挑战。
本文针对高比例分布式电源接入的配电网电压优化控制问题展开研究，提出了基于
多智能体强化学习的主动配电网分区协同电压控制策略。利用多智能体强化学习的探索
学习能力，开发了一种无模型的分区协同电压控制方法，可基于离线训练-在线执行的
模式实现电压的实时控制。不同于本地电压控制方式难以实现整体协调、集中式电压控
制严重依赖于全网数据的监测和通讯，本文的分区协同电压控制策略在弱通信条件下就
可以实现区域自治-全局协同的电压控制格局。
本文首先围绕配电网的区域划分方法与实施展开叙述。以无功-电压灵敏度矩阵表
征电气距离，以基于图论的谱聚类算法进行分区，利用模块度作为衡量区域划分质量的
指标，顺次介绍了分区的优选、分区方案的校验与调整等实施过程，并进行了算例验证。
其次，介绍了多智能体强化学习的分区协同电压控制策略获取过程。以最小化电压
偏差为目标建立电压控制数学模型，并将其转换为部分可观测马尔科夫决策问题；将每
个区域建模为一个智能体，利用基于优先经验回放机制的多智能体双延迟深层确定性策
略梯度(PER-MATD3)算法得到分区协同电压控制策略模型。并通过实验，验证了该模型
可以有效解决分布式电源并网引起的电压越限，而且可以满足实时电压控制要求。
然后，针对主动配电网的精准物理模型难以获取，导致传统潮流计算方法结果误差
较大，影响到后续的配电网运行控制分析，介绍了基于数据驱动的潮流计算模型的构建
方法和过程。利用电网历史运行数据训练基于图卷积神经网络的数据驱动潮流计算模型，
来拟合节点功率和电压之间的非线性关系。将训练好的模型嵌入到智能体-电网交互环
境中，可替代传统潮流计算程序，用于计算智能体学习的奖励值。
最后，针对多智能体的信任分配问题，研究了计及信任分配的多智能体强化学习分
区协同电压控制策略。以最小化电压偏差和网损为目标，并将电压控制问题转换为部分
可观测马尔科夫决策问题，采用改进的反事实多智能体柔性动作-评价(COMASAC)算法，
设计了计及信任分配的配电网分区协同电压控制策略模型。通过实验，验证了该模型可
哈尔滨工程大学专业学位硕士学位论文
解决信任分配问题并获得更高效的电压控制性能。
关键词：主动配电网；多智能体强化学习；分区协同电压控制；数据驱动潮流；信
任分配
基于多智能体强化学习的主动配电网分区协同电压控制研究
Abstract
Withtheproposalofthenationaldual-carbonstrategy,thepenetrationrateofdistributed
generationinthedistributionnetworkcontinuestoincrease,effectivelyimprovingenergy
utilizationandreducingenvironmentalburdens.Atthesametime,thehighproportionof
distributedgenerationgrid-connectedtransformsthetraditionaldistributionnetworkintoan
activedistributionnetworkwithmultiplepowersources,whichchangesthepowerflow
distributionandcausespowerflowreversal;andtheuncertaintyofdistributedgenerationoutpu