基于强化学习的新能源场站储能一次调频自适应控制策略

doi:10.19799/j.cnki.2095-4239.2023.0658

储能科学与技术 ›› 2024, Vol. 13 ›› Issue (3): 858-869.doi: 10.19799/j.cnki.2095-4239.2023.0658

基于强化学习的新能源场站储能一次调频自适应控制策略

孙冉¹(), 王建波¹, 马彦钊², 张小科³, 胡怀中²()

^1.国网河南省电力公司，河南郑州 450000
^2.西安交通大学自动化科学与工程学院，陕西西安 710100
^3.国网河南省电力公司电力科学研究院，河南郑州 450052

收稿日期:2023-09-26 修回日期:2023-11-23 出版日期:2024-03-28 发布日期:2024-03-28
通讯作者: 胡怀中 E-mail:persiasun@126.com;huhuaizhong@xjtu.edu.cn
作者简介:孙冉（1979—），女，硕士，高级工程师，主要从事电力系统稳定分析与控制研究，E-mail：persiasun@126.com；
基金资助:
国网河南省电力公司科技项目(521702230011);国家重点研发计划资助项目(2018YFB1700104)

Adaptive control strategy for primary frequency regulation for new energy storage stations based on reinforcement learning

Ran SUN¹(), Jianbo WANG¹, Yanzhao MA², Xiaoke ZHANG³, Huaizhong HU²()

^1.State Grid Henan Electric Power Company, Zhengzhou 450000, Henan, China
^2.School of Automation Science and Engineering, Xi'an 710100, Shaanxi, China
^3.Electric Power Research Institute of State Grid Henan Electric Power Company, Zhengzhou 450052, Henan, China

Received:2023-09-26 Revised:2023-11-23 Online:2024-03-28 Published:2024-03-28
Contact: Huaizhong HU E-mail:persiasun@126.com;huhuaizhong@xjtu.edu.cn

摘要/Abstract

摘要：

针对当前储能参与一次调频时不同控制策略配合存在的缺陷，在传统虚拟惯性和虚拟下垂控制方法的基础上，考虑新能源出力特征，提出一种基于强化学习算法的新能源场站储能一次调频自适应控制策略。所提策略中，强化学习智能体负责根据系统频差和频差变化率实时波动来动态调整储能通过虚拟惯性控制方法参与一次调频的出力占比，进而由储能一次调频自适应控制器计算出虚拟下垂控制方法的出力占比，并获取储能总一次调频出力指令。考虑到新能源场站有功扰动的随机性，本工作中的强化学习智能体通过在特定新能源场站出力扰动下学习获取，其中新能源场站出力扰动由风速扰动通过风电机组模型获取。所提控制策略能充分发挥虚拟惯性和虚拟下垂控制方法在调频前后期的不同优势，实现两种控制方法的最优结合，挖掘储能参与一次调频的潜力。最终在Matlab/Simulink中搭建了区域电网频率响应模型，基于新能源发电突变和新能源发电连续波动两种扰动工况来模拟新能源场站极端工况和实际运行场景，并通过仿真验证了所提控制策略的有效性。结果表明，本工作所提策略能在调频过程中合理调整虚拟惯性出力和虚拟下垂出力的占比，减少电池储能的动作深度，有效缓解新能源出力波动给电网带来的频率波动，提升频率质量。

关键词: 电池储能, 一次调频, 新能源场站, 强化学习, 自适应控制

Abstract:

Based on traditional virtual inertia and virtual sag control methods, and considering the characteristics of new energy output, we propose a new energy storage adaptive control strategy for primary frequency regulation using a reinforcement learning algorithm. Herein, reinforcement learning agent dynamically adjusts the output proportion of the energy storage participating in primary frequency regulation through the virtual inertia control method, responding to real-time fluctuations in system frequency and frequency difference change rate. Subsequently, energy storage primary frequency regulation adaptive controller calculates the output proportion of the virtual sag control method, thereby obtaining the total primary frequency regulation output command for the energy storage. Considering the inherent randomness of active power output in new energy stations, reinforcement learning agent learns from the output disturbances, which are influenced by wind speed disturbances through the wind turbine model in the new energy station. The proposed control strategy maximizes the distinct advantages of virtual inertia and virtual sag control methods before and after frequency regulation. It achieves an optimal combination of the two control methods, unlocking the full potential of energy storage in participating in primary frequency regulation. To validate the effectiveness of the proposed strategy, we constructed a regional power grid frequency response model in Matlab/Simulink. This model simulated extreme working conditions and actual operational scenarios of the new energy station. The simulation results confirm that the strategy can appropriately adjust the proportion of virtual inertial output and virtual sagging output during the frequency modulation process. This adjustment reduces the operation depth of battery energy storage, effectively mitigates frequency fluctuation caused by variations in new energy output to the power grid, and enhances overall frequency quality.

Key words: battery energy storage, primary frequency regulation, new energy station, reinforcement learning, adaptive control

中图分类号:

TK 02

孙冉, 王建波, 马彦钊, 张小科, 胡怀中. 基于强化学习的新能源场站储能一次调频自适应控制策略[J]. 储能科学与技术, 2024, 13(3): 858-869.

Ran SUN, Jianbo WANG, Yanzhao MA, Xiaoke ZHANG, Huaizhong HU. Adaptive control strategy for primary frequency regulation for new energy storage stations based on reinforcement learning[J]. Energy Storage Science and Technology, 2024, 13(3): 858-869.

图/表 22

图1

图2

图3

图4

表1

表2

区域电网频率响应模型仿真参数"

参数名称/单位	取值	参数名称/单位	取值
H/s	5	$K g$	20
D/p.u.	1	$M b$	20
$T g$ /s	0.08	$K b$	15
$T C H$ /s	0.3	$T b e s s$ /s	0.1
$T R H$ /s	10

表2

图5

图6

图7

图8

图9

表3

区域电网频率响应模型仿真参数"

扰动大小	方法名称	$∆ f m a x$ /Hz	$∆ o m a x$ /(Hz/s)	$∆ f s$ /Hz
0.02 p.u.	本工作方法	-0.076	0.0995	-0.006
	对比方法	-0.083	0.0995	-0.006
	直接切换法	-0.120	0.1017	-0.006

表3

图10

图11

图12

表4

工况一的调频指标"

方法	本工作方法	对比方法	直接切换法
$f R M S E$	3.3342	3.7782	4.4078
$t d$ /%	52.13	57.27	58.90

表4

图13

图14

图15

图16

图17

表5

工况二的调频指标"

项目	本工作方法	对比方法	直接切换法
$f R M S E$	3.6931	4.1560	4.4822
$t d$ /%	77.40	78.95	79.75

表5

参考文献 20

1	舒印彪, 赵勇, 赵良, 等. "双碳"目标下我国能源电力低碳转型路径[J]. 中国电机工程学报, 2023, 43(5): 1663-1672.
	SHU Y B, ZHAO Y, ZHAO L, et al. Study on low carbon energy transition path toward carbon peak and carbon neutrality[J]. Proceedings of the CSEE, 2023, 43(5): 1663-1672.
2	韩泽雷, 鞠平, 秦川, 等. 面向新型电力系统的频率安全研究综述与展望[J]. 电力自动化设备, 2023, 43(9): 112-124.
	HAN Z L, JU P, QIN C, et al. Review and prospect of research on frequency security of new power system[J]. Electric Power Automation Equipment, 2023, 43(9): 112-124.
3	叶林, 王凯丰, 赖业宁, 等. 低惯量下电力系统频率特性分析及电池储能调频控制策略综述[J]. 电网技术, 2023, 47(2): 446-464.
	YE L, WANG K F, LAI Y N, et al. Review of frequency characteristics analysis and battery energy storage frequency regulation control strategies in power system under low inertia level[J]. Power System Technology, 2023, 47(2): 446-464.
4	黄际元, 李欣然, 曹一家, 等. 考虑储能参与快速调频动作时机与深度的容量配置方法[J]. 电工技术学报, 2015, 30(12): 454-464.
	HUANG J Y, LI X R, CAO Y J, et al. Capacity allocation of energy storage system considering its action moment and output depth in rapid frequency regulation[J]. Transactions of China Electrotechnical Society, 2015, 30(12): 454-464.
5	李军徽, 侯涛, 穆钢, 等. 基于权重因子和荷电状态恢复的储能系统参与一次调频策略[J]. 电力系统自动化, 2020, 44(19): 63-72.
	LI J H, HOU T, MU G, et al. Primary frequency regulation strategy with energy storage system based on weight factors and state of charge recovery[J]. Automation of Electric Power Systems, 2020, 44(19): 63-72.
6	李欣然, 崔曦文, 黄际元, 等. 电池储能电源参与电网一次调频的自适应控制策略[J]. 电工技术学报, 2019, 34(18): 3897-3908.
	LI X R, CUI X W, HUANG J Y, et al. The self-adaption control strategy of energy storage batteries participating in the primary frequency regulation[J]. Transactions of China Electrotechnical Society, 2019, 34(18): 3897-3908.
7	王育飞, 杨铭诚, 薛花, 等. 计及SOC的电池储能系统一次调频自适应综合控制策略[J]. 电力自动化设备, 2021, 41(10): 192-198, 219.
	WANG Y F, YANG M C, XUE H, et al. Self-adaptive integrated control strategy of battery energy storage system considering SOC for primary frequency regulation[J]. Electric Power Automation Equipment, 2021, 41(10): 192-198, 219.
8	吴启帆, 宋新立, 张静冉, 等. 电池储能参与电网一次调频的自适应综合控制策略研究[J]. 电网技术, 2020, 44(10): 3829-3836.
	WU Q F, SONG X L, ZHANG J R, et al. Study on self-adaptation comprehensive strategy of battery energy storage in primary frequency regulation of power grid[J]. Power System Technology, 2020, 44(10): 3829-3836.
9	王佳宁, 杨仁海, 姚张浩, 等. 基于深度强化学习的有源中点钳位逆变器效率优化设计[J]. 电子与信息学报, 2023, 45(9): 3311-3320.
	WANG J N, YANG R H, YAO Z H, et al. Efficiency optimized design of active neutral point clamped inverter based on deep reinforcement learning[J]. Journal of Electronics & Information Technology, 2023, 45(9): 3311-3320.
10	WANG Y Y, LIU S Q, CHU M Z, et al. Primary frequency control of renewable energy based on deep reinforcement learning[C]//2021 China Automation Congress (CAC). Beijing, China. IEEE, 2021: 5183-5188.
11	SHI Z Y, XIE X Z, LU H B, et al. Deep reinforcement learning-based multidimensional resource management for energy harvesting cognitive NOMA communications[J]. IEEE Transactions on Communications, 2022, 70(5): 3110-3125.
12	谭庄熙. 电池储能参与电网调频的综合协同控制方法研究[D]. 长沙: 湖南大学, 2020.
	TAN Z X. Research on integrated collaborative control strategy of battery energy storage system participating in frequency regulation[D].Changsha: Hunan University, 2020.
13	KUNDUR P. 电力系统稳定与控制[M]. 北京: 中国电力出版社, 2002.
	KUNDUR P. Power system stability and control[M]. Beijing: China Electric Power Press, 2002.
14	LIU H, HU Z C, SONG Y H, et al. Decentralized vehicle-to-grid control for primary frequency regulation considering charging demands[J]. IEEE Transactions on Power Systems, 2013, 28(3): 3480-3489.
15	TANG Y, DAI J F, NING J, et al. An extended system frequency response model considering wind power participation in frequency regulation[J]. Energies, 2017, 10(11): 1797.
16	孙雪薇. 双馈风电机组惯量和一次频率调节与场站储能协调控制方法研究[D]. 保定: 华北电力大学, 2021.
	SUN X W. Research on coordinated control method of inertia and primary frequency regulation of doubly-fed wind turbine and energy storage in station[D]. Baoding: North China Electric Power University, 2021.
17	马智慧, 李欣然, 谭庄熙, 等. 考虑储能调频死区的一次调频控制方法[J]. 电工技术学报, 2019, 34(10): 2102-2115.
	MA Z H, LI X R, TAN Z X, et al. Integrated control of primary frequency regulation considering dead band of energy storage[J]. Transactions of China Electrotechnical Society, 2019, 34(10): 2102-2115.
18	徐飘. 电池储能参与电网调频综合自适应控制策略研究[D]. 长沙: 湖南大学, 2019.
	XU P. Research on battery energy storage participating in integrated adaptive control strategy of frequency regulation in power system[D]. Changsha: Hunan University, 2019.
19	黄武枫. 风电场风速概率分布及其拟合模型研究[D]. 南宁: 广西大学, 2021.
	HUANG W F. Research on probability distribution of wind farm and its fitting models[D]. Nanning: Guangxi University, 2021.
20	LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning[J]. ArXiv e-Prints, 2015: doi:10.48550/arXiv. 1509.02971.

参数名称/单位	取值
控制间隔/s	0.1
训练步数T	25000
最大训练回合数N	250
经验回放池容量	10⁶
批量采样数量	128
目标网络软更新参数	0.001

[1]	李展, 刘磊, 杨振勇, 尚勇, 尤默, 高爱国, 康静秋. 基于过程分解的飞轮储能-火电互助式一次调频分析[J]. 储能科学与技术, 2023, 12(9): 2854-2861.
[2]	李斌, 叶季蕾, 张宇, 时珊珊, 王皓靖, 刘丽丽, 李明哲. 含分布式新能源和机电混合储能接入的微网协调控制策略[J]. 储能科学与技术, 2023, 12(5): 1510-1515.
[3]	刘海山, 徐宪龙, 魏书洲, 逄亚蕾, 洪烽. 基于提升华北电网考核指标的飞轮储能参与调频划分电量控制策略[J]. 储能科学与技术, 2023, 12(4): 1176-1184.
[4]	刘子豪, 张雪松, 林达, 孙立清, 李正阳, 熊瑞. 基于扩展卡尔曼滤波的储能电池能量和功率状态联合估计方法[J]. 储能科学与技术, 2023, 12(3): 913-922.
[5]	慈松, 张从佳, 刘宝昌, 周杨林. 动态可重构电池储能技术：原理与应用[J]. 储能科学与技术, 2023, 12(11): 3445-3455.
[6]	邢子涯, 刘玮, 耿俊成, 周兴华, 夏越. 基于启发式算法的含BESS配电网线损最小化策略研究[J]. 储能科学与技术, 2023, 12(11): 3406-3413.
[7]	曹钰, 姜彤, 刘炽, 杨勇, 刘文飞, 刘文颖. 考虑频率特性及储能电池状态的电化学储能参与一次调频控制策略[J]. 储能科学与技术, 2023, 12(10): 3120-3130.
[8]	陈俊涛, 王亚军, 宋顺一, 曲文浩, 柳亦兵. 飞轮储能辅助风电一次调频仿真分析[J]. 储能科学与技术, 2023, 12(1): 172-179.
[9]	李明飞, 饶睦敏, 孙婉妹, 崔树鑫, 陈伟. 基于多孔介质模化的大容量电池储能热管理系统性能分析方法[J]. 储能科学与技术, 2022, 11(8): 2526-2536.
[10]	吴田, 林闽城, 海浩, 孙海渔, 温兆银, 马福元. 面向一次调频的镍氢电池系统开发[J]. 储能科学与技术, 2022, 11(7): 2213-2221.
[11]	时雨, 张忠, 杨晶莹, 钱薇, 李昊, 赵祥, 杨欣桐. 储能电池系统提供AGC调频的机会成本建模与市场策略[J]. 储能科学与技术, 2022, 11(7): 2366-2373.
[12]	蔡新雷, 董锴, 孟子杰, 喻振帆, 王卜潇, 余洋. 基于优化动态分组技术的电池储能电站跟踪AGC指令控制策略[J]. 储能科学与技术, 2022, 11(5): 1475-1481.
[13]	李昊, 刘畅, 苗博, 张静. 考虑冷热电互补及储能系统的多园区综合能源系统协调优化调度[J]. 储能科学与技术, 2022, 11(5): 1482-1491.
[14]	田峰, 程志江, 杨涵棣, 杨天翔. 模块化多电平复合变换器电池储能系统容错控制策略[J]. 储能科学与技术, 2022, 11(5): 1583-1591.
[15]	范馥麟, 李军徽, 严干贵, 李翠萍. 储能友好型频率响应服务市场：英国视角[J]. 储能科学与技术, 2022, 11(4): 1278-1288.

基于强化学习的新能源场站储能一次调频自适应控制策略

Adaptive control strategy for primary frequency regulation for new energy storage stations based on reinforcement learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 22

参考文献 20

相关文章 15

编辑推荐

Metrics

本文评价