基于Q学习算法的发电商报价策略模型.pdf

维普资讯 第36卷 第4期 要氧电力 Vol_36 No．4 2008年 4月 EastOhinaElectricPower Apr． 2008 基于 Q学习算法的发电商报价策略模型 高 瞻，宋依群 (上海交通大学 电气工程系，上海 200240) 摘 要：针对 日前电力市场发电商利益最大化 问题 ，利用Q学习算法构造了发电商策略报价模型。以发电商 即时收益和市场相对 占有率组成奖赏函数，使发电商策略收益最大化并同时达到提高市场 占有率的目的。通 过算例验证了模型的有效性，发现如果发电商试图提高市场 占有率将选择低报价策略；考虑爬坡限制后使得 24h独立的Q学习联立，引起发电商报价策略变化。 关键词：Q学习；报价策略；市场相对 占有率；Agent 作者简介：高 瞻(1983一)，男，硕士研究生，研究方向为电力系统自动化及电力市场。 中图分类号：TM76 文献标识码：A 文章编号：1001—9529(2008)04-0020-03 PowersupplierbiddingstrategiesbasedonQ-learningalgorithm CAO Zhan，SONGYi—qun (Dept．ofElectricalEngineering，ShanghaiJiaotongUniv．，Shanghai200240，China) Abstract：BasedontheQ-leaningalgorithm，amodelofpowersupplierbiddingstrategytomaximizethesupplierS profitintheday-aheadelectricitymarketispresented．Therewardfunctioniscomposedoftheinstantrevenueandthe relativemarketshrae，whichenablesthesuppliertoachievethegoal ofraisingitsmraketshrae．Themodelisproved effectivebysimulation．Itisf0undthatthesupplierhastochoosealow—biddingstrateyg toraisetheirmarketshrae． andtheoptimalbiddingstrateygchangesaccordinglywhentheQ--learningprocessseparatedamong24hoursarecon-- nectedaftertheconstraintoframprateisconsidered． Keywords：Q—learning；biddingstrateyg；relativemarketshare；Agent Q学习是近年来引入 电力市场Agent模型的 a 新方法。以长期利润最大化作为 目标，直接估计 st,a ： 最优的动作值函数来确定策略，对于电力市场中 的不确定性、不稳定性可 以使用 Q学习进行模 aQ(S，a)： {rf+ max[Q(s…，a)] 拟、预测和处理 。电力市场的重复运营，使得发电 商在学习过程中有足够的反馈信息，不断修正报 其中，s表示环境状态，s，为 t