1. 研究目的

      1.1 响应国家“双碳”战略电网调度面临的挑战

近年来，随着节能减排目标的提出，可再生能源在我国能源消费的份额逐年提升，据测算为达成碳达峰目标，化石能源占一次能源消费比重需下降到25%左右，风电、太阳能等新能源发电总装机容量将达到12亿千瓦以上^[1]。2024年政府工作报告中提到，当前可再生能源发电装机规模历史性超过火电，2023全年新增装机超过全球一半。新能源渗透率的快速提升使得电力系统调度面临如下挑战^[2][3]：①调度场景更多样：新能源大规模接入导致电网不确定程度增加，优化建模难度大幅提升；②运行规律更复杂：调度问题因果关系日趋复杂，传统方法难以挖掘海量数据中蕴藏的规律；③决策效率要求更高，传统物理模型优化决策的效率难以满足短时尺度调度需求。

       1.2 提升电网优化调度的决策效率和场景适应性

数据驱动的机器学习是从数据中提取信息并用于推断与预测，适合海量知识空间穷举式搜索和局势推演，成为新型电力系统调度决策的重要发展方向。其中，深度强化学习融合了深度学习的感知能力和强化学习的决策能力，应用于电网调度可实现调度策略的自我探索和更新，在优化求解问题上已有一些探索性研究。然而，由于电力系统标记数据稀缺以及运行场景的复杂性，强化学习应用于电网调度决策面临着模型精准度低、鲁棒性不足、迁移与拓展能力差等问题，特别是电网关心的安全性、可靠性底线难以有效保障。

在长期生产实践中，电网调度各环节产生了大量有价值的基本知识、规律或经验，体现为调度目标、安全约束、调控空间、经验教案等调度专业传统知识。此外，随着人工智能和大数据技术的发展，通过数据驱动方法探索调度员难以发现但又影响电力系统安全经济运行的的数据规律以及虚拟场景，也是调度专业“新知识”的体现。这些调度“专业知识”以启发式逻辑、不等式约束、场景样本等为代表，如果能够通过一定方式嵌入到机器学习模型中，在学习过程本身对样本训练进行引导，可实现机器学习从假设、统计推理转变为基于专业知识引导的统计推理泛化。例如，当学习器沿着正确的方向挖掘规律时予以肯定、强化，反之则进行纠偏、弱化，有望解决机器学习在电力系统高维状态空间下的寻优效率低、难以收敛等问题，也有望在电网调度关心的安全性、可靠性等制约数据驱动方法应用的核心问题上有所突破^[4][5][6]。

      2. 研究内容

本研究将建立电网仿真环境，并采用SAC、TD3以及A3C算法实现电网前瞻调度决策。然而，基于数据驱动的智能决策方法，往往由于“现实差距”难以被弥补、数据分布偏移、以及“黑箱”模型的本质属性，而在安全性、泛化性、可解释性等方面面临着诸多难题。在该研究内容中，我们以“人辅机”的大方向为切入点，将专家调度经验与模型的训练相结合，具体包括以下内容：

      2.1 基于显著性标注实现加速启动

当前基于深度学习的调度模型，往往需要大量数据进行训练，并耗费大量时间成本。针对模型初期随机探索学习速率较差的问题，需要实现热启动^[7]。在本研究内容中，本课题组拟通过引导学习的方式，基于历史断面或专家经验，有效缩减不合理样本空间。具体方式包括但不限于：引入引导学习^[8][9]、显著性信息标注、返还专家决策偏好等。通过这些方式，我们就可以加快样本初期探索速率，进一步缩短离线训练时间。

      2.2基于软硬安全约束实现智能决策

搭建好基于深度强化学习的智能体后，考虑对高风险场景的聚类分析，研究涉及安全约束的专家经验的提取与表征方式；调整专家知识的作用模式，包括软硬约束的划分与嵌入位置等。随后分析其对决策目标、安全约束效果的影响；引入安全约束阈值。考虑源荷不确定性影响，在电网仿真环境中模拟智能体在线决策行为。只有当故障发生概率的期望低于该值时，可视为安全性较好。否则，重新调整智能体进行训练。

3. 国内外研究现状和发展动态

3.1 不确定性优化调度

优化算法可以基于其搜索过程中是否引入随机性来分为确定性算法和不确定性算法。尽管确定性算法具有收敛迅速、参数调节便利等优势，但碍于未考虑现实差距、局部最优等因素的影响，往往无法得到适用于实时调度计划的可行解。与之相对应的，在应对日渐复杂的引入可再生能源带来的消纳与调度问题时，不确定性算法体现出了其天然的优势。主流的分析方法有：随机优化算法^[11]，鲁棒优化算法^[12]和概率场景法^[13]等。

其中，随机优化算法在搜索解空间时引入了随机概率模型，来增加搜索的多样性，从而避免陷入局部最优。此外，它还将源荷预测误差等多维随机向量纳入到概率模型的求解中，并通过近似分布概率函数等方式将其等效为确定性模型。尽管如此，它依旧存在着决策效率低下的问题。

鲁棒优化算法的独特之处在于——已知源荷不确定性的所有可能取值，随后通过加入适当的随机性或者稳健性设计来提高算法的鲁棒性，最终使其能够在扰动最为恶劣时，依然能够保持较好的优化性能。然而，也正是由于这种特效，它的求解总是显得过于保守，且运行成本较高。

概率场景法则是根据概率分布生成大量场景，随后利用场景削减来提取出典型场景，用以表征风电的不确定性。但此方法不仅计算量庞大，还面临着误删除关键场景的难题。

总得来说，相比确定性算法，不确定性算法显然更加适合处理考虑新能源不稳定性的复杂场景。但与此同时，这类算法也普遍面临着运算成本高昂、训练速度缓慢等难题。

3.2 深度强化学习算法

深度强化学习主要分为三类，基于值函数的深度强化学习算法，基于策略梯度的深度强化学习算法，结合策略梯度和价值函数的 Actor-Critic 算法，其中，基于AC框架的算法对于电网前瞻调度有着天然的适应性，在 Actor-Critic 框架的训练过程中，Actor不断给出目前经验下的最优策略，Critic 针对这些策略给出一个评判，Actor 则根据这个评判结果更新、积累自己的经验。结合策略梯度和价值函数的 Actor-Critic 算法就如同一个虚拟的调度员在不断地进行工作与学习，也因此得到了更广泛的应用。

本项目主要研究异步优势动作评价算法 (asynchronous advantage actor-critic，A3C)，双延迟深度确定性策略梯度算法(twin delayed deep deterministic policy gradient，TD3)以及柔性动作评价算法（soft actor-critic,SAC)。

杨艳红等人以Actor-Critic为框架，在A3C的基础上解决可再生能源比例动态变化下的问题，有较高的控制准确率和较强的适应性^[14]。GUAN J等人全面考虑电网实际运行时涉及到的各个参数，通过A3C算法对多智能体进行训练，实现多场景并行学习的经济调度^[15]。王新迎等人采用SAC算法，实现动作的连续控制，灵活处理源荷不确定性问题，实现多场景下的电-气综合能源经济调度，相对于传统方法较好凸化和收敛^[16]。顾雪平等人在发电指令分配中采用TD3算法，与传统方法相比，该算法在大规模电力系统中应用价值更大，它具有更好的动态性能和更低的发电成本^[17]。我们发现，基于AC框架的算法提升了算法的训练速度和性能表现，降低了算法对硬件的要求，大大提升了算法的鲁棒性。

3.3 嵌入专家知识增强决策智能

近年来，基于数据驱动的深度强化学习算法兴起，在经济调度，最优潮流，机组组合等问题得到了广泛应用。但是它仍然存在可解释性差、泛化性弱、收敛性存疑等问题。基于此，有学者^[18]提出，可以通过将专家知识引入智能体的训练模型中，发挥人对模糊目标、突发故障等的高级认知机制的优势，从而改善智能体的决策行为，有望突破前述纯数据驱动方法的局限。

目前，关于如何提取并表征专家知识，并将其有效地嵌入调度模型的方案，大致有以下几种：

通过压缩策略空间等手段提升训练效率。指基于专家知识对决策进行调控，2020年，王甜婧等人提出结合动作空间缩小经验的深度强化学习算法（DRL），用于电网潮流计算自动调整^[19]。同年，严梓铭等人提出结合缩小动作空间约束知识的DRL，用于电网拓扑优化^[20]。

通过训练智能体模仿专家决策行为提高决策质量。例如模仿学习（imitative learning，IL）^[21]，先从人类调度员决策样本中提取特征，再用行为克隆（behavioral cloning，BC）或生成式对抗模仿学习（generative adversarial imitation learning，GAIL）^[22]训练模型，从而引入人类认知意图，使智能体能自主学习调度员的优秀范例行为。

通过引导场景生成模型提高泛化能力。可以针对预想故障、自然灾害等严重缺乏历史样本的极端场景，充分引入人的作用，通过在样本生成模型中加入基于人工经验场景特征等方式，引导模型合理生成这些特殊极端场景；另一种主流的方向是基于人工主导的可控场景生成。例如从聚类结果中选取个别十分重要的极端场景类别进行重点生成、基于人类经验或外部仿真模块对聚类或生成的场景集进行评价与调整等。从而更好地适应电力系统不同场景的数据特征和分布情况^[7]。

不断的研究证明，人机混合增强决策智能作为一项前瞻性技术，相较于传统方法而言，更为灵活，具有广阔的前景和极大的应用价值。

参考文献：

[1] 牛君,耿欣钊.双碳目标下我国碳权交易研究现状和展望[J/OL].中南林业科技大学学报(社会科学版),2023(06):18-32[2024-01-29].https://doi.org/10.14067/j.cnki.1673-9272.2023.06.003.

[2] 国网能源研究院有限公司.中国能源电力发展展望[M].中国电力出版社,2020.

[3] 周淑慧;王军;梁严;.碳中和背景下中国“十四五”天然气行业发展[J].天然气工业,2021(02).

[4] 张清益,陈益.短期负荷预计的专家知识系统[J].现代节能,1994(04):21-24+35.

[5] 邓武,杨鑫华,赵慧敏,等.粗糙集、神经网络和专家系统模型用于电力系统故障诊断[J].高电压技术,2009,35(07):1624-1628.DOI:10.13336/j.1003-6520.hve.2009.07.047.

[6] 沈凯. 基于LM-BP优化算法的模糊神经网络专家故障诊断系统[D].上海交通大学,2019.

[7] 李鹏，黄文琦，梁凌宇，戴珍，曹尚，车亮，涂春鸣．人机混合增强决策智能在新型电力系统调控中的应用与展望[J/OL]．中国电机工程学报. https://doi.org/10.13334/j.0258-8013.pcsee.231797

[8] 尚宇炜, 马钊, 彭晨阳, 等. 内嵌专业知识和经验的机器学习方法探索 (一): 引导学习的提出与理论基础[J]. 中国电机工程学报, 2017, 37(19): 5560-5571.

[9] 尚宇炜, 马钊, 彭晨阳, 等. 内嵌专业知识和经验的机器学习方法探索 (二): 引导学习的应用与实践[J]. 中国电机工程学报, 2017, 37(20): 5852-5861.

[10] Guo H, Chen Q, Xia Q, et al. Deep inverse reinforcement learning for objective function identification in bidding models[J]. IEEE Transactions on Power Systems, 2021, 36(6): 5684-5696.

[11] 易明月，童晓阳．考虑风荷预测误差不确定性的动态经济调度[J]．电网技术，2019，43(11)：4050-4056．

[12] 康田园,刘科研,贾东梨,等.计及分布式电源出力不确定性的虚拟电厂鲁棒优化调度[J].电力信息与通信技术,2024,22(02):16-24.DOI:10.16543/j.2095-641x.electric.power.ict.2024.02.03.

[13] 张晓辉，闫柯柯，卢志刚，等．基于场景概率的含风电系统多目标低碳经济调度[J]．电网技术2014，38(7)：1835-1841．Zhang Xiaohui，Yan Keke，Lu Zhigang，et al．Scenari-o probability based multi-objective optimized low-carbon economic dispatching for Power grid integrated with wind farms[J]．Power System Technology,2013,38(7)：1835-1841(in Chinese).

[14] 杨艳红, 卢鑫, 张雷杰, 周世威, 裴玮, 朱丹丹. 考虑智能体前置状态及环境特征自适应机制的强化学习电网调度方法[J].

[15] GUAN J， TANG H， WANG K，et al. A parallel multiscenario learning method for near-real-time power dispatch optimization［J］. Energy，2020，202：117708.

[16] 乔骥，王新迎，张擎，等 .基于柔性行动器-评判器深度强化学习 的电-气综合能源系统优化调度［J］. 中国电机工程学报，2021， 41（3）：819-833.

[17] 顾雪平, 刘彤, 李少岩, 王铁强, 杨晓东. 基于改进双延迟深度确定性策略梯度算法的电网有功安全校正控制[J]. 电工技术学报, 2023, 38 (08): 2162-2177.王甜婧,汤涌,郭强,等.基于知识经验和深度强化学习的大电网潮流计算收敛自动调整方法[J].中国电机工程学报

[18] 李峰, 王琦, 胡健雄. 数据与知识联合驱动方法研究进展及其在电力系统中应用展望[J]. 中国电机工程学报, 2021, 41(13): 4377-4389.

[19] 王甜婧,汤涌,郭强,等.基于知识经验和深度强化学习的大电网潮流计算收敛自动调整方法[J].中国电机工程学报

[20] 严梓铭,徐岩.结合深度强化学习与领域知识的电力系统拓扑结构优化[J].电力系统自动化,2022,46(01):60-68.

[21] Hussein A，Gaber M，Elyan E，et al．Imitation learning：A survey of learning methods[J]．ACM Computing Surveys，2017，50(2)：1-35．

[22] 陈海东，蒙飞，张越，等．基于生成对抗模仿学习的 电力系统动态经济调度[J]．电网技术，2022，46(11)：4373-4380． Chen Haidong，Meng Fei，Zhang Yue，et al．Dynamic economic dispatch of power system based on generative adversarial imitation learning[J]．Power System Technology，2022，46(11)：4373-4380(in Chinese)．

     4. 创新点与项目特色

4.1 提出一种基于历史断面或专家经验的“热启动”训练方法。

通过提取关键场景与标注显著性信息的方式，实现优势样本的高效利用，从而保障智能体的探索效率。

4.2 提出一种基于电网软硬安全约束的安全智能体构建方法。

利用专家知识以及对关键场景的分析，建立起合理的软硬安全约束表征方式。借鉴鲁棒优化算法，考虑源荷不确定性的影响，设定安全约束阈值，在模拟在线决策中容忍较低限度的故障发生率，以实现安全优先的最优调度模式。

     5. 技术路线、拟解决的问题及预期成果

5.1 技术路线

本项目旨在实现数据-知识融合的电网智能优化调度。所采取的技术路线紧扣智能电网的建设目标，实现训练与决策的高效性、调度计划的优越性和经济性，保障电网运行的安全性与稳定性。

5.1.1 基于自监督学习与显著性信息标注实现加速启动

本项目将采用自监督学习和专家知识相结合的方法来实现关键信息的提炼。在自监督学习（Unsupervised Learning）中，智能体可自行从历史运行数据中发掘信息，识别源荷波动、机组越限等异常事件，并自主生成训练标签。在同一过程中，智能体还可以尝试降低对低价值样本的依赖，从而在一定程度上实现冗余样本的剔除。然后，再结合专家知识，进行一定程度的人工校验，以提高其准确性和可靠性，实现显著性信息的进一步标注。通过综合利用这两种方法，就可以实现热启动，加快模型的收敛速度，提高电力调度模型的效率和性能。

5.1.2 基于软硬安全约束实现智能决策

本项目旨在构建一个优化安全性能的智能体。为此，首先进行高风险场景的聚类分析，完成对潜在风险的识别和分类。对分析结果进行重要性评估，并据此将其表征为具体的软硬安全约束，嵌入到智能体的训练过程中，以监督其决策模式。随后，在仿真环境中测试智能体的表现，反复调整并进行约束效果评估，最终分析总结出最优约束模式。此外，本课题组将设置一个合理的安全约束阈值。在实验平台上模拟智能体在线决策行为，重点考虑源荷不确定性对调度效果的影响。只有当故障发生概率的预期值低于此阈值时，系统才认为是在安全的操作范围内。如果不满足这一条件，将需要对智能体进行重新调整和训练，以确保它能够在各种情况下保持高效且安全的运行。

5.2 拟解决的问题

5.2.1 智能体训练阶段的高效化

基于数据驱动的深度强化学习算法往往面临着需要大量学习样本，且前中期训练效率低下等问题。基于专家经验或历史断面标记显著性样本信息，可以引导智能体重点探索价值较高的样本，降低乃至清除的冗余样本影响，达到高效训练的目的。

5.2.2 智能体调度决策的安全化

首先，针对实际调度场景搭建起切实有效的安全约束项。随后，调整嵌入模式，提高约束效果。最后，进行仿真模拟，通过多次调整将故障概率降低至容忍限度以下，可以实现调度决策的安全化。

5.3 预期成果

1、 搭建出切实有效的智能体，并在验证平台的模拟中，于安全性等方面取得优异的表现

2、 在中国核心期刊上发表1篇论文

3、 申请1项相应专利

4、 完成总结报告，为高水平竞赛做好准备

5、 设计出一款数据-知识融合驱动的电网智能优化决策原型软件

6 项目研究进度安排

6.1前期准备

阅读文献，写调研报告，发表相关综述文章；学习相关技术，构建基础智能体，搭建实验平台，设计和完善优化算法，尝试图像处理和分析的编程。

6.2 中期实验

正式进行算法优化，对于各类专家知识进行函数化尝试，初步建立起图像处理与分析系统。

尽可能完善图像各类处理操作与分析，将识别出的图像数据转化为尽可能全面的可视化数据，初步进行专家知识的嵌入。

完善专家知识函数，搭建专家知识引导系统，建立故障数据经验池，并通过专家知识对故障经验池内的数据进行强化学习，避免错误产生。利用前期准备的大量实验数据，准备数据分析。

正式进行数据分析，搭建数据处理平台，得出专家知识函数中各项知识的权重，多次比对智能体的收敛速度和训练效果，得出有效专家知识，去除专家知识的冗余项。

6.3 后期总结

总结实验，完成实验中的数据、过程、结论的汇总与报告，撰写高质量论文、发明和实用新型专利。为参加“挑战杯”、“互联网+”等重大赛事做出安排，进行更为进一步的打算。

6.4 具体时间安排表