基于改进K-means和MADDPG算法的风储联合系统日前优化调度方法

doi:10.19799/j.cnki.2095-4239.2021.0282

储能科学与技术 ›› 2021, Vol. 10 ›› Issue (6): 2200-2208.doi: 10.19799/j.cnki.2095-4239.2021.0282

基于改进K-means和MADDPG算法的风储联合系统日前优化调度方法

蔡新雷¹(), 崔艳林¹, 董锴¹, 孟子杰¹, 潘远¹, 喻振帆¹, 王吉兴², 孟乡占², 余洋²()

^1.广东电网有限责任公司电力调度控制中心，广东广州　510600
^2.新能源电力系统国家重点实验室（华北电力大学（保定）），河北保定　071003

收稿日期:2021-06-22 修回日期:2021-07-08 出版日期:2021-11-05 发布日期:2021-11-03
作者简介:蔡新雷（1986—），男，硕士，高级工程师，研究方向为电力系统运行控制，E-mail：517665114@qq.com|余洋，副教授，从新能源电力系统并网与控制研究；E-mail：yym0401@163.com。
基金资助:
南方电网公司科技项目资助036000KK52190005(GDKJXM20198110)

Day-ahead optimal scheduling approach of wind-storage joint system based on improved K-means and MADDPG algorithm

Xinlei CAI¹(), Yanlin Cui¹, Kai DONG¹, Zijie MENG¹, Yuan PAN¹, Zhenfan YU¹, Jixing WANG², Xiangzhan MENG², Yang YU²()

^1.Electric Power Dispatching Control Center of Guangdong Grid Co. , Ltd. , Guangzhou 510600, Guangdong, China
^2.State Key Laboratory of Alternate Electrical Power System With Renewable Energy Sources (North China Electric Power University), Baoding 071003, Hebei, China

Received:2021-06-22 Revised:2021-07-08 Online:2021-11-05 Published:2021-11-03

摘要/Abstract

摘要：

风储联合运行可有效地应对风电出力的不确定性，提高风电竞争力，然而储能与风电联合运行的优化调度问题是一大难点。为保证储能可调控容量的基础上实现风储联合运行收益最大化，提出了基于改进K-means和多智能体深度确定性策略梯度(MADDPG)算法的风储联合系统日前优化调度方法。首先，根据储能特性和运行状态采用萤火虫优化的改进K-means聚类算法实现储能分组；然后，将风电与分组后的储能设备建模为不同的智能体，组成多智能体系统，采用MADDPG算法求解，设计了MADDPG算法的状态空间、动作空间和奖励函数；最后，对算法进行了算例仿真验证。结果表明，所提调度策略能够较好协调风电和储能运行，有效平抑了风电出力波动，与常规深度强化学习相比，提高了风储联合系统的运行收益。

关键词: 风电, 储能系统, 改进K-means, MADDPG

Abstract:

The joint operation of wind power and energy storage can effectively deal with the uncertainty of wind power output and improve the competitiveness of wind power. However, optimizing and dispatching the joint operation of energy storage and wind power is a major difficulty. A day-ahead optimal scheduling method of the wind storage joint system based on improved K-means and multi-agent deep deterministic strategy gradient (MADDPG) algorithm is proposed to maximize the benefits of a wind-storage joint operation by ensuring the adjustable capacity of energy storage. First, the improved K-Means clustering algorithm optimized by the firefly algorithm is used to achieve energy storage grouping; then, the wind power and the grouped energy storage equipment are modeled as different agents to form a multi-agent system. The MADDPG algorithm is used to solve the problem, and the MADDPG algorithm's state space, action space, and reward function are designed. Finally, a simulation example is used to validate the algorithm. The results show that, when compared to conventional deep reinforcement learning, the proposed scheduling strategy can better coordinate the operation of wind power and energy storage, effectively smooth the fluctuation of wind power output, and improve the operating income of the wind storage combined system.

Key words: wind power, energy storage system, K-means, MADDPG

中图分类号:

TM 73

蔡新雷, 崔艳林, 董锴, 孟子杰, 潘远, 喻振帆, 王吉兴, 孟乡占, 余洋. 基于改进K-means和MADDPG算法的风储联合系统日前优化调度方法[J]. 储能科学与技术, 2021, 10(6): 2200-2208.

Xinlei CAI, Yanlin Cui, Kai DONG, Zijie MENG, Yuan PAN, Zhenfan YU, Jixing WANG, Xiangzhan MENG, Yang YU. Day-ahead optimal scheduling approach of wind-storage joint system based on improved K-means and MADDPG algorithm[J]. Energy Storage Science and Technology, 2021, 10(6): 2200-2208.

图/表 14

图1

图2

图3

图4

表1

表2

表3

图5

图6

图7

表4

图8

图9

表5

参考文献 14

1	孙欣, 方陈, 沈风, 等. 考虑风电出力不确定性的发用电机组组合方法[J]. 电工技术学报, 2017, 32(4): 204-211.
	SUN X, FANG C, SHEN F, et al. An integrated generation-consumption unit commitment model considering the uncertainty of wind power[J]. Transactions of China Electrotechnical Society, 2017, 32(4): 204-211.
2	谢应昭, 卢继平. 含风储混合系统的多目标机组组合优化模型及求解[J]. 电力自动化设备, 2015, 35(3): 18-26.
	XIE Y Z, LU J P. Multi-objective unit commitment optimization model including hybrid wind-storage system and its solution[J]. Electric Power Automation Equipment, 2015, 35(3): 18-26.
3	DING H J, HU Z C, SONG Y H. Stochastic optimization of the daily operation of wind farm and pumpedhydro-storage plant[J]. Renewable Energy, 2012, 48(6): 571-578.
4	熊猛, 高峰, 张海峰, 等. 基于混合储能系统的风电场调度策略[J]. 电网技术, 2014, 38(5): 1242-1249.
	XIONG M, GAO F, ZHANG H F, et al. Hybrid energy storage based generation scheduling of wind farms[J]. Power System Technology, 2014, 38(5): 1242-1249.
5	DUKPA A, DUGGAL I, VENKATESH B, et al. Optimal participation and risk mitigation of wind generators in an electricity market[J]. IET Renewable Power Generation, 2010, 4(2): 165-175.
6	DICORATO M, FORTE G, PISANI M, et al. Planning and operating combined wind-storage system in electricity market[J]. IEEE Transactions on Sustainable Energy, 2012, 3(2): 209-217.
7	余涛, 周斌, 甄卫国. 强化学习理论在电力系统中的应用及展望[J]. 电力系统保护与控制, 2009, 37(14): 122-128.
	YU T, ZHOU B, ZHEN W G. Application and development of reinforcement learning theory in power systems[J]. Power System Protection and Control, 2009, 37(14): 122-128.
8	杨挺, 赵黎媛, 刘亚闯, 等. 基于深度强化学习的综合能源系统动态经济调度[J]. 电力系统自动化, 2021, 45(5): 39-47.
	YANG T, ZHAO L Y, LIU Y C, et al. Dynamic eco-nomic dispatch for integrated energy system based on deep rein-forcement learning[J]. Automation of Electric Power Systems, 2021, 45(5): 39-47.
9	于一潇, 杨佳峻, 杨明, 等. 基于深度强化学习的风电场储能系统预测决策一体化调度[J]. 电力系统自动化, 2021, 45(1): 132-140.
	YU Y X, YANG J J, YANG M, et al. Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning[J]. Automation of Electric Power Systems, 2021, 45(1): 132-140.
10	刘国静, 韩学山, 王尚, 等. 基于强化学习方法的风储合作决策[J]. 电网技术, 2016, 40(9): 2729-2736.
	LIU G J, HAN X S, WANG S, et al. Optimal decision-making in the cooperation of wind power and energy storage based on reinforcement learning algorithm[J]. Power System Technology, 2016, 40(9): 2729-2736.
11	汤文亮, 张平, 汤树芳. 基于精英反向学习的萤火虫K-means改进算法[J]. 计算机工程与设计, 2019, 40(11): 3164-3169.
	TANG W L, ZHANG P, TANG S F, et al. Improved firefly K-means algorithm based on elite opposition-based learning[J]. Computer Engineering and Design, 2019, 40(11): 3164-3169.
12	陈小雪, 尉永清, 任敏, 等. 基于萤火虫优化的加权K-means算法[J]. 计算机应用研究, 2018, 35(2): 466-470.
	CHEN X X, WEI Y Q, REN M, et al. Weighted K-means clustering algorithm based on firefly algorithm[J]. Application Research of Computers, 2018, 35(2): 466-470.
13	KIM B, PARK J, PARK S, et al. Impedance learning for robotic contact tasks using natural actor-critic algorithm[J]. IEEE Transactions on Systems, Man, and Cybernetics Part B, Cybernetics, 2010, 40(2): 433-443.
14	桂熙. 基于MADDPG算法的多个智能体协同控制[D]. 武汉: 武汉纺织大学, 2020.GUI X. Research on multi-agent cooperative control based on MADDPG Algorithm[D]. Wuhan: Wuhan Textile University, 2020.

时段	售电电价/[元/(kW·h)]	出力偏差惩罚/[元/(kW·h)]	储能越限惩罚/[元/(kW·h)]
1—7	0.2	0.3	0.5
8—10	0.5	0.75	0.5
11—15	0.8	1.2	0.5
16—18	0.5	0.75	0.5
19—21	0.8	1.2	0.5
22—24	0.5	0.75	0.5

结构参数	数值
每层神经元个数	128
Critic网络学习率	0.001
Actor网络学习率	0.0001
经验回放池规模	50000
采样规模	256
软更新系数	0.01

时段	ESS1		ESS2		ESS3
时段	电池组数	平均SOC	电池组数	平均SOC	电池组数	平均SOC
1	48	0.21	0	0.00	12	0.43
2	46	0.23	0	0.0	14	0.44
3	46	0.23	0	0.00	14	0.44
4	30	0.25	2	0.74	28	0.53
5	28	0.26	2	0.68	30	0.52
6	26	0.31	4	0.75	30	0.57
7	23	0.35	6	0.78	31	0.55
8	4	0.35	8	0.79	48	0.56
9	0	0.00	12	0.81	48	0.55
10	0	0.00	12	0.80	48	0.57
11	0	0.00	14	0.81	46	0.58
12	0	0.00	13	0.81	47	0.60
13	0	0.00	13	0.75	47	0.62
14	0	0.00	10	0.70	50	0.58
15	4	0.32	7	0.69	49	0.55
16	9	0.30	4	0.68	47	0.54
17	10	0.28	2	0.66	48	0.52
18	10	0.28	0	0.00	50	0.52
19	12	0.29	0	0.00	48	0.49
20	18	0.31	0	0.00	42	0.47
21	45	0.31	0	0.00	15	0.43
22	57	0.32	0	0.00	3	0.42
23	56	0.33	0	0.00	4	0.45
24	51	0.35	0	0.00	9	0.45

方案	总收益/千元	售电收益/千元	出力偏差惩罚/千元	储能越限惩罚/千元
方案1	62.50	84.85	21.50	0.85
方案2	69.01	85.22	15.66	0.55

[1]	郭雨涵, 郁丹, 杨鹏, 王子绩, 王金涛. 基于贪婪算法的分布式储能系统容量优化配置方法[J]. 储能科学与技术, 2022, 11(7): 2295-2304.
[2]	吴田, 林闽城, 海浩, 孙海渔, 温兆银, 马福元. 面向一次调频的镍氢电池系统开发[J]. 储能科学与技术, 2022, 11(7): 2213-2221.
[3]	张平, 康利斌, 王明菊, 赵广, 罗振华, 唐堃, 陆雅翔, 胡勇胜. 钠离子电池储能技术及经济性分析[J]. 储能科学与技术, 2022, 11(6): 1892-1901.
[4]	李昊, 刘畅, 苗博, 张静. 考虑冷热电互补及储能系统的多园区综合能源系统协调优化调度[J]. 储能科学与技术, 2022, 11(5): 1482-1491.
[5]	陶飞跃, 王焕然, 李瑞雄, 赵静, 葛刚强, 贺新, 陈昊. 利用环境再冷的二氧化碳储能热电联产系统及其热力学分析[J]. 储能科学与技术, 2022, 11(5): 1492-1501.
[6]	田峰, 程志江, 杨涵棣, 杨天翔. 模块化多电平复合变换器电池储能系统容错控制策略[J]. 储能科学与技术, 2022, 11(5): 1583-1591.
[7]	李建林, 张则栋, 李雅欣, 周毅, 岳云力. 碳中和目标下移动式储能系统关键技术[J]. 储能科学与技术, 2022, 11(5): 1523-1536.
[8]	范馥麟, 李军徽, 严干贵, 李翠萍. 储能友好型频率响应服务市场：英国视角[J]. 储能科学与技术, 2022, 11(4): 1278-1288.
[9]	郭斌, 邢洁, 姚飞, 景小敏. 基于双层规划模型的用户侧混合储能优化配置[J]. 储能科学与技术, 2022, 11(2): 615-622.
[10]	陈玉龙, 武鑫, 滕伟, 柳亦兵. 用于风电功率平抑的飞轮储能阵列功率协调控制策略[J]. 储能科学与技术, 2022, 11(2): 600-608.
[11]	刘迪, 张甜甜, 彭宇维, 唐晓梅, 王丹, 毛承雄. 压缩空气储能系统释能环节轴系建模与振荡分析[J]. 储能科学与技术, 2022, 11(2): 563-572.
[12]	朱信龙, 王均毅, 潘加爽, 康传智, 邹燚涛, 杨凯杰, 施红. 集装箱储能系统热管理系统的现状及发展[J]. 储能科学与技术, 2022, 11(1): 107-118.
[13]	高晓芝, 王磊, 田晋, 刘佳璐, 刘庆华. 基于参数优化变分模态分解的混合储能功率分配策略[J]. 储能科学与技术, 2022, 11(1): 147-155.
[14]	沈渭程, 甄文喜, 邵冲, 谢琦. 基于超导磁储能系统的双馈风机协同故障穿越策略[J]. 储能科学与技术, 2022, 11(1): 136-146.
[15]	张诗钽, 楚帅, 葛维春, 李音璇, 刘闯. 大规模弃风与储热协调调控评估方法[J]. 储能科学与技术, 2022, 11(1): 283-290.

基于改进K-means和MADDPG算法的风储联合系统日前优化调度方法

Day-ahead optimal scheduling approach of wind-storage joint system based on improved K-means and MADDPG algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 14

相关文章 15

编辑推荐

Metrics

本文评价