CN119813395A - 一种换流器功率和直流电压的调控方法及系统 - Google Patents

Abstract

本发明公开了一种换流器功率和直流电压的调控方法及系统，包括：获取电网中换流器功率和直流电压；构建误差综合指标PSVRE；基于误差综合指标PSVRE采用强化学习对智能体进行训练；根据换流器功率和直流电压，基于训练好的智能体得到换流器的直流电压参考值变化量；基于直流电压参考值变化量对换流器的功率和直流电压进行调控。本发明通过误差综合指标PSVRE以及强化学习中的PPO算法可以在不依赖综合系统模型的情况下做出实时控制决策，从而有效应对海上风电功率波动幅度大，速度快的动态特性，保证多端柔性直流系统安全稳定运行，此外本发明不依赖通讯系统，在通讯缺失的情况下仍能工作，并且不影响多端柔性直流系统的稳定性。

Description

一种换流器功率和直流电压的调控方法及系统

技术领域

本发明属于高压柔性直流电网运行控制技术领域，尤其涉及一种换流器功率和直流电压的调控方法及系统。

背景技术

高压柔性直流电网在遭遇突发故障后同时考虑直流电压的调节和有功功率的分配至关重要，而目前直流系统的控制模式主要是有功功率-电压下垂控制。然而由于基于有功功率-电压下垂控制的换流器的个数即控制自由度个数的限制下，传统解析算法下难以权衡所有节点电压的调节以及各换流器有功功率的分配，目前广泛采用将所有节点的平均直流电压作为控制对象来减轻控制自由度不足的问题，但平均直流电压不能完全反应整个网络直流电压的特性，并且有功功率的分配也会受线路电阻和直流下垂系数影响产生偏差。如何同时实现所有节点直流电压的调节和换流器有功功率的合理分配是当下亟需解决的问题。

发明内容

为了解决现有技术存在的问题，本发明提供了一种换流器功率和直流电压的调控方法及系统，能够实现所有节点直流电压的调节和换流器有功功率的合理分配。

本发明所要解决的技术问题是通过以下技术方案实现的：

第一方面，提供了一种换流器功率和直流电压的调控方法，包括：

获取电网中换流器功率和直流电压；

构建误差综合指标PSVRE；

基于误差综合指标PSVRE采用强化学习对智能体进行训练；

根据换流器功率和直流电压，基于训练好的智能体得到换流器的直流电压参考值变化量；

基于直流电压参考值变化量对换流器的功率和直流电压进行调控。

结合第一方面，进一步的，所述误差综合指标PSVRE表达式为：

其中，ΔP为下垂控制换流器的有功功率变化矩阵，H为下垂控制换流器的可用余量矩阵，H＝[H₁,H₂,…,H_m]^T，ΔP＝[ΔP₁,ΔP₂,…,ΔP_m]^T，ΔP_m为第m台下垂控制换流器的功率变化量，H_m为第m台下垂控制换流器的可用功率余量，P_mis为功率差额，m为下垂控制换流器的个数，H_j为第j台下垂控制换流器的可用功率余量，V^*和V_sch分别为产生故障后下垂控制换流器的直流电压向量以及设定的下垂控制换流器的直流电压向量，P^rated为下垂控制换流器的额定功率，V^rated为下垂控制换流器的额定电压。

结合第一方面，进一步的，对智能体的训练包括：

采用强化学习中PPO算法对智能体进行训练，在智能体训练过程中最大程度的减小误差综合指标PSVRE，目标函数如下所示：

其中，F(π)表示策略π下要最小化的目标函数，即误差综合指标PSVRE的值；π^*表示满足所有约束的最优策略；C_i(π)表示策略π下第i个约束的违反情况；M表示约束的个数；θ为策略参数；

通过下式将目标函数的优化转化为无约束优化问题：

其中，L(π,λ)为行为价值函数，λ为拉格朗日乘数，λ_i为第i个约束条件包含的拉格朗日乘数，λ^*为拉格朗日乘数的最优值，(π^*,λ^*)为满足目标函数F(π)最优且满足所有约束的联合最优解。

结合第一方面，进一步的，行为价值函数在PPO算法中的表现形式如下所示：

L(a,θ^μ,λ,μ)＝f(a)+λ^TG(a)+μ^TH(a) (4)

其中，L(a,θ^μ,λ,μ)为行为价值函数L(π,λ)在PPO算法中的表现形式，a为智能体的行为，μ为不等式约束的非负系数，θ^μ为与不等式非负系数μ相关的策略参数，f(a)为目标函数F(π)在PPO算法中的表现形式，G(a)为等式约束，H(a)为不等式约束。

结合第一方面，进一步的，在训练智能体的过程中通过计算策略网络梯度来得到策略参数，策略网络梯度计算公式如下所示：

其中，表示期望，r_t(θ)为当前策略和旧策略在给定状态s_t和行为a_t下的概率比，clip为裁剪函数，∈为控制裁剪范围的超参数，为优势函数；

策略参数更新如下所示：

其中，为策略网络梯度，θⁿ为更新后的策略参数，α_a为学习率。

结合第一方面，进一步的，所述策略网络梯度能够分解为与行为相关的目标函数梯度以及与策略参数相关的行为梯度表达式如下所示：

其中，为与行为相关的梯度，为与策略参数相关的梯度，h_k(a)为第k个不等式约束，μ_k为第k个不等式约束的系数，N_λ为不等式约束的个数，为策略参数θ第n次迭代后的函数形式，分别表示在给定状态s_t下第l轮训练的下垂控制换流器直流功率、下垂控制换流器直流电压以及电压参考值。

结合第一方面，进一步的，在训练智能体的过程中还通过考虑约束的策略参数梯度对策略参数进行调整，通过拉格朗日乘数梯度对拉格朗日乘数进行调整，考虑约束的策略参数梯度和拉格朗日乘数梯度的表达式如下所示：

其中，N为样本数，s_i、a_i分别表示第i个约束对应的状态和行为，M为约束的个数，C_i(s_i,a_i)为约束成本。

第二方面，本发明还提供了一种换流器功率和直流电压的调控系统，包括：

数据获取模块，用于获取电网中换流器功率和直流电压；

指标构建模块，用于构建误差综合指标PSVRE；

训练模块，用于基于误差综合指标PSVRE采用强化学习对智能体进行训练；

调控模块，用于根据换流器功率和直流电压，基于训练好的智能体得到换流器的直流电压参考值调节量；

基于直流电压参考值调节量对换流器的功率和直流电压进行调控。

有益技术效果：本发明采用强化学习中的PPO算法，通过构建误差综合指标PSVRE对智能体进行训练寻找电压源换流器的多目标最优控制参数，从而达到对换流器的直流电压进行优化调控以及功率的合理分配的目的，通过误差综合指标PSVRE以及强化学习中的PPO算法可以在不依赖综合系统模型的情况下做出实时控制决策，从而有效应对海上风电功率波动幅度大，速度快的动态特性，保证多端柔性直流系统安全稳定运行，此外本发明不依赖通讯系统，在通讯缺失的情况下仍能工作，并且不影响多端柔性直流系统的稳定性。

附图说明

图1是含五节点的多端柔性直流测试系统单线图；

图2是本发明所提出的基于强化学习的高压柔性直流系统换流器功率-直流电压灵活调控方法控制框图；

图3a为验证例1中电压源换流器有功功率示意图；

图3b为验证例1中直流电压示意图；

图3c为验证例1中直流平均电压示意图；

图3d为验证例1中误差综合指标PSVRE示意图；

图4a为验证例2中电压源换流器有功功率示意图；

图4b为验证例2中直流电压示意图；

图4c为验证例2中直流平均电压示意图；

图4d为验证例2中误差综合指标PSVRE示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。

实施例1

本发明提出了一种基于强化学习的换流器功率和直流电压的调控方法，以所有节点(换流器)直流电压的调节和换流器有功功率的分配为控制目标，通过改变处于下垂控制的换流器的直流电压参考值来实现。该控制方法基于强化学习的近端策略优化(PPO，Proximal Policy Optimization)算法，嵌入分散式控制的基本框架，并不依赖于通信系统。

分散式控制框架包括次级控制层、初级控制层以及物理层。

本发明的调控方法主要体现在次级控制层，通过基于强化学习的近端策略优化(PPO)算法计算可变电压参考值的调节量，即换流器的直流电压参考值变化量，然后位于初级控制层的下垂控制器根据该直流电压参考值变化量输出信号经由PWM调制后将控制信号输出到物理层对位于该层的换流器进行控制从而完成对换流器直流电压进行调节进而对换流器有功功率进行合理分配。

本发明提供的换流器功率和直流电压的调控方法的过程主要如下：

获取电网中换流器功率和直流电压；

构建误差综合指标PSVRE用于对PPO算法中的智能体进行训练，该误差综合指标PSVRE的表达式如下所示：

其中，ΔP为下垂控制换流器的有功功率变化矩阵，H为下垂控制换流器的可用余量矩阵，H＝[H₁,H₂,…,H_m]^T，ΔP＝[ΔP₁,ΔP₂,…,ΔP_m]^T，ΔP_m为第m台下垂控制换流器的功率变化量，H_m为第m台下垂控制换流器的可用功率余量，P_mis为功率差额，m为下垂控制换流器的个数，H_j为第j台下垂控制换流器的可用功率余量，V^*和V_sch分别为产生故障后下垂控制换流器的直流电压向量以及设定的下垂控制换流器的直流电压向量，P^rated为下垂控制换流器的额定功率，V^rated为下垂控制换流器的额定电压。

对智能体的训练包括将换流器功率和直流电压和直流电压作为PPO算法中智能体的状态(s_t)输入给智能体，智能体根据得到的状态输出行为a_t(直流电压参考值变化量ΔV_ref)，该直流电压参考值变化量作为输出信号经由PWM调制后将控制信号输出到电网对参与下垂控制的换流器进行控制，会得到相应的换流器功率和直流电压再反馈给智能体，智能体根据反馈继续调整输出，如此循环往复，直到达到目标完成训练。

训练具体包括：在智能体训练过程中最大程度的减小误差综合指标PSVRE，目标函数如下所示：

其中，F(π)表示策略π下要最小化的目标函数，即误差综合指标PSVRE的值；π^*表示满足所有约束的最优策略；C_i(π)表示策略π下第i个约束的违反情况；M表示约束的个数；θ为策略参数；

通过下式将目标函数的优化转化为无约束优化问题：

其中，L(π,λ)为行为价值函数，λ为拉格朗日乘数，λ_i为第i个约束条件包含的拉格朗日乘数，λ^*为拉格朗日乘数的最优值，(π^*,λ^*)为满足目标函数F(π)最优且满足所有约束的联合最优解。

其中，行为价值函数在PPO算法中的表现形式如下所示：

L(a,θ^μ,λ,μ)＝f(a)+λ^TG(a)+μ^TH(a) (4)

其中，L(a,θ^μ,λ,μ)为行为价值函数在PPO算法中的表现形式，a为智能体的行为，μ为不等式约束的非负系数，θ^μ为与不等式非负系数μ相关的策略参数，f(a)为目标函数在PPO算法中的表现形式，G(a)为等式约束，H(a)为不等式约束。

在训练智能体的过程中通过计算策略网络梯度来得到策略参数，策略网络梯度计算公式如下所示：

其中，表示期望，r_t(θ)为当前策略和旧策略在给定状态s_t和行为a_y下的概率比，clip为裁剪函数，∈为控制裁剪范围的超参数，为优势函数；

策略参数更新如下所示：

其中，为策略网络梯度，θ_n为更新后的策略参数，α_a为学习率。

在本发明中，当智能体训练完成后，智能体根据策略参数θⁿ即可输出相应的行为，即直流电压参考值变化量ΔV_ref，从而达到对直流电压的调节和换流器有功功率的合理分配的最终目的。

所述策略网络梯度能够分解为与行为相关的目标函数梯度以及与策略参数相关的行为梯度表达式如下所示：

其中，为与行为相关的梯度，为与策略参数相关的梯度，h_k(a)为第k个不等式约束，μ_k为第k个不等式约束的系数，N_λ为不等式约束的个数，为策略参数θ第n次迭代后的函数形式，分别表示在给定状态s_t下第l轮训练的下垂控制换流器直流功率、下垂控制换流器直流电压以及电压参考值。

在训练智能体的过程中还通过考虑约束的策略参数梯度对策略参数进行调整，通过拉格朗日乘数梯度对拉格朗日乘数进行调整，考虑约束的策略参数梯度和拉格朗日乘数梯度的表达式如下所示：

其中，N为样本数，s_i、a_i分别表示第i个约束对应的状态和行为，M为约束的个数，C_i(s_i,a_i)为约束成本。

实施例2

本发明还提供了一种换流器功率和直流电压的调控系统，包括：

数据获取模块，用于获取电网中换流器功率和直流电压；

指标构建模块，用于构建误差综合指标PSVRE；

训练模块，用于基于误差综合指标PSVRE采用强化学习对智能体进行训练；

调控模块，用于根据换流器功率和直流电压，基于训练好的智能体得到换流器的直流电压参考值调节量；

基于直流电压参考值调节量对换流器的功率和直流电压进行调控。

下面我们通过两个具体的案例来验证本发明的效果。

如图1所示，采用接入海上风电场(OWF，OffshoreWindFarm)的五节点多端柔性直流输电系统验证本发明提出的基于强化学习的电压源换流器(VSC)功率和直流电压的调节方法。在该系统中，电压源换流器(Voltage Source Converter)VSCs-3与海上风电场OWF-3连接，电压源换流器VSCs-5与海上风电场OWF-5连接，电压源换流器VSCs-1、VSCs-2和VSCs-4通过阻抗分别与理想电压源模型所代表的三个交流电网AC-1、AC-2以及AC-4连接，形成了一个多端柔性直流电网架构。与海上风电场相连的电压源换流器工作于有功功率控制模式，而与交流电网相连的电压源换流器采用自适应电压下垂控制策略。

验证例1

在海上风电大幅度功率波动的情况下，本发明所采用的调控方法能够按比例分配有功功率，并将系统各节点的直流电压调节至设定参考值。连接至电压源换流器VSC-5的海上风电场OWF-5发电功率在时间time＝0.5s时从-500MW增至-850MW，随后在time＝1s时启动本发明的调控方法，以实现对系统功率分配及电压调节的优化控制。从图3a-图3d中可以看出，本发明所采用的调控方法误差很小。从图3a可以看出，在电压源换流器VSC-5的功率P5增加后，电压源换流器VSC-1、VSC-2和VSC-4在固定下垂控制下的功率分配并不理想，因为VSC-1与其他两个下垂控制的电压源换流器相比仍有相对较大的有功功率余量，而电压源换流器VSC-4的有功功率P4却在故障后超过极限值P^r(460WM)。在时间time＝1s时启动本发明的调控方法后，电压源换流器的有功功率按其功率余量的比例进行分配。另一方面，从图3b可以看出，直流电压曲线随着电压源换流器VSC-5的功率变化而增加。特别是，VSC-5的电压接近于电压上限(640kV)。如图3b以及图3c所示，在启用本发明的调控方法将电压调节到设定值后，电压曲线的增加得到了明显缓解并趋近于稳态设定值。如图3d所示，在启用本发明的调控方法后，所建立的综合指标PSVRE得到了明显优化，表征本发明所提供的调控方法能够在控制自由度不足时有效实现换流器功率的比例分配以及直流电压的优化调节(注意在本发明中故障前的换流器功率以及直流电压不计及所建立指标PSVRE的计算，因此图3d仅截取优化控制的后半部分)。

验证例2

在连接交流电网的换流器停运的故障情况下，整个系统会失去一个控制自由度，本发明所提供的调控方法依旧能够在缺少控制自由度的情况下按比例分配有功功率，并将系统各节点的直流电压调节至接近设定值。电压源换流器VSC-2在时间time＝0.5s时彻底停运，随后在t＝1s时启动本发明所提供的调控方法，以实现对系统功率分配及电压调节的优化控制。从图4a-图4d中可以看出，本发明所提供的调控方法且误差很小。从图4a可以看出，在电压源换流器VSC-2彻底停运后，仅剩的基于自适应下垂控制的两台电压源换流器VSC-1和VSC-4在固定下垂控制下的功率分配并不理想，因为电压源换流器VSC-1与VSC-4相比仍有相对较大的有功功率余量，而VSC-4却在故障后功率超过极限值P^r(460WM)。在时间time＝1s时启动本发明所提供的调控方法后，两台电压源换流器的有功功率按其功率余量的比例进行分配。另一方面，从图4b和图4c可以看出，直流电压曲线随着本法明所提供的调控方法的引入得到明显优化，接近于稳态设定值，各电压(V1、V2、V3、V4、V5)越限风险显著降低。如图4d所示，在启用本发明提出调控方法后，所建立的综合指标PSVRE也得到了明显优化，降低高达20个百分点。表征本发明所提出的调控方法能够在控制自由度不足时有效实现换流器功率的比例分配以及直流电压的优化调节(注意在本发明中故障前的换流器功率以及直流电压不计及所建立指标PSVRE的计算，因此图4d仅截取优化控制的后半部分)。

本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种换流器功率和直流电压的调控方法，其特征在于，包括：

获取电网中换流器功率和直流电压；

构建误差综合指标PSVRE；

基于误差综合指标PSVRE采用强化学习对智能体进行训练；

根据换流器功率和直流电压，基于训练好的智能体得到换流器的直流电压参考值变化量；

基于直流电压参考值变化量对换流器的功率和直流电压进行调控。

2.根据权利要求1所述的一种换流器功率和直流电压的调控方法，其特征在于，所述误差综合指标PSVRE表达式为：

其中，ΔP为下垂控制换流器的有功功率变化矩阵，H为下垂控制换流器的可用余量矩阵，H＝[H₁,H₂,…,H_m]^T，ΔP＝[ΔP₁,ΔP₂,…,ΔP_m]^T，ΔP_m为第m台下垂控制换流器的功率变化量，H_m为第m台下垂控制换流器的可用功率余量，P_mis为功率差额，m为下垂控制换流器的个数，H_j为第j台下垂控制换流器的可用功率余量，V^*和V_sch分别为产生故障后下垂控制换流器的直流电压向量以及设定的下垂控制换流器的直流电压向量，P^rated为下垂控制换流器的额定功率，V^rated为下垂控制换流器的额定电压。

3.根据权利要求1所述的一种换流器功率和直流电压的调控方法，其特征在于，对智能体的训练包括：

采用强化学习中PPO算法对智能体进行训练，在智能体训练过程中最大程度的减小误差综合指标PSVRE，目标函数如下所示：

其中，F(π)表示策略π下要最小化的目标函数，即误差综合指标PSVRE的值；π^*表示满足所有约束的最优策略；C_i(π)表示策略π下第i个约束的违反情况；M表示约束的个数；θ为策略参数；

通过下式将目标函数的优化转化为无约束优化问题：

其中，L(π,λ)为行为价值函数，λ为拉格朗日乘数，λ_i为第i个约束条件包含的拉格朗日乘数，λ^*为拉格朗日乘数的最优值，(π^*,λ^*)为满足目标函数F(π)最优且满足所有约束的联合最优解。

4.根据权利要求3所述的一种换流器功率和直流电压的调控方法，其特征在于，行为价值函数在PPO算法中的表现形式如下所示：

L(a,θ^μ,λ,μ)＝f(a)+λ^TG(a)+μ^TH(a) (4)

其中，L(a,θ^μ,λ,μ)为行为价值函数在PPO算法中的表现形式，a为智能体的行为，μ为不等式约束的非负系数，θ^μ为与不等式非负系数μ相关的策略参数，f(a)为目标函数在PPO算法中的表现形式，G(a)为等式约束，H(a)为不等式约束。

5.根据权利要求4所述的一种换流器功率和直流电压的调控方法，其特征在于，在训练智能体的过程中通过计算策略网络梯度来得到策略参数，策略网络梯度计算公式如下所示：

其中，表示期望，r_t(θ)为当前策略和旧策略在给定状态s_t和行为a_t下的概率比，clip为裁剪函数，∈为控制裁剪范围的超参数，为优势函数；

策略参数更新如下所示：

其中，为策略网络梯度，θⁿ为更新后的策略参数，α_a为学习率。

6.根据权利要求5所述的一种换流器功率和直流电压的调控方法，其特征在于，所述策略网络梯度能够分解为与行为相关的目标函数梯度以及与策略参数相关的行为梯度表达式如下所示：

其中，为与行为相关的梯度，为与策略参数相关的梯度，h_k(a)为第k个不等式约束，μ_k为第k个不等式约束的系数，N_λ为不等式约束的个数，为策略参数θ第n次迭代后的函数形式，分别表示在给定状态s_t下第l轮训练的下垂控制换流器直流功率、下垂控制换流器直流电压以及电压参考值。

7.根据权利要求3所述的一种换流器功率和直流电压的调控方法，其特征在于，在训练智能体的过程中还通过考虑约束的策略参数梯度对策略参数进行调整，通过拉格朗日乘数梯度对拉格朗日乘数进行调整，考虑约束的策略参数梯度和拉格朗日乘数梯度的表达式如下所示：

其中，N为样本数，s_i、a_i分别表示第i个约束对应的状态和行为，M为约束的个数，C_i(s_i,a_i)为约束成本。

8.一种换流器功率和直流电压的调控系统，其特征在于，包括：

数据获取模块，用于获取电网中换流器功率和直流电压；

指标构建模块，用于构建误差综合指标PSVRE；

训练模块，用于基于误差综合指标PSVRE采用强化学习对智能体进行训练；

调控模块，用于根据换流器功率和直流电压，基于训练好的智能体得到换流器的直流电压参考值调节量；

基于直流电压参考值调节量对换流器的功率和直流电压进行调控。