基于网上采购平台的资源动态实时调度研究.doc

本文使用的运行环境为matlab2014b 各个参数设置为Q值初始化为0 0.4 本文使用的运行环境为matlab2014b 各个参数设置为Q值初始化为0 0.4 0.2 0.4 0.9 0.1 0.11 0 关键词： 动态资源调度，马尔可夫决策过程， Q-learning学习算法 1、引言 随着互联网的发展，各类电商平台也迅速发展，作为实体经济制造业，网上采购也越来越普遍。目前网上采购平台环境下制造资源动态调度问题[1]研究的核心内 容，网上采购平台的动态资源优化调度是基于平台对制造资源和制造任务之间的实时匹配调度，形成最优调度方案。 2、网上采购平台制造资源调度的动态分析 2.1 网上采购平台的动态分析 从网上采购平台的角度，整个网上采购平台的组成结构复杂，参与者众多，其内部一直处于复杂的动态变化中；从制造资源自身的角度，制造资源以数据形式存储于 网上采购平台，其状态属性随着其服务进程实时发生变化。 2.2 制造资源动态调度策略 （1）判断是否进行在调度 ①制造进度延迟时间 本文采用制造进度延迟时间α来衡量扰动因素出现后，采购过程中的制造任务在采购周期上发生的变动。 ②制造进度延迟率 本文引入制造进度延迟率来表征整个生产项目受扰动的影响，设定制造进度延迟率为： 式（2.1）中，θ表示制造进度延迟率，α为制造进度延迟时间，δ为时间阙值，θ 0表示为最大允许延迟时间空间。当θ超过θ0时进行再调度，否则执行原方案。 （2）何时进行在调度 ①制造资源突发故障 在t1时刻，正在进行制造的制造任务Ti的制造资源突发故障。则在t1时刻制造任务集G=｛T1，T2 … Ti … Tn｝中还未开始的制造任务构成新的制造任务集 G1=Ti1unfinished并且每个制造任务的候选资源集由初始的Mi更新为Mi*，平台根据属性变化后的资源集对制造任务集G1生成新的调度方案。 ②新制造资源加入 在t2时刻，平台中的还未服务的制造任务接入新的候选资源，则t2时刻在制造任务集G中还未进行服务的任务构成新的制造任务集G2=Ti2unfinished，接入新候选资源 的制造任务的候选资源集由Mi更新为Mi**，对新的制造任务集G2进行重新调度。 ③制造资源撤销 在t3时刻，网上采购平台中的一些候选资源因为某些原因撤出平台，若是原调度方案中的制造资源撤销，将会造成对调度方案的影响。则t3时刻在制造任务集G中还 未进行加工的任务构成新的制造任务集G3=Ti3unfinished，发生候选制造资源撤销的制造任务的候选资源集由Mi更新为Mi***，对还未进行服务的任务集G3进行资源调度。 3、制造资源动态调度的马尔可夫决策过程模型 马尔科夫决策过程可以根据每个时刻观察到的状态，从可用的行动集合中选用一个行动做出决策，同时决策者可以根据新观察到的状态再作新的决策，依此反复地进 行。 3.1 状态空间 按照制造任务的先后顺序对制造任务进行编号，状态信息可表示为： S=｛S1，S2…Si…Sn｝其中， Si=（I，k，δ ik）， 1≤i≤n，k为制造任务的候选制造资源， δik表示工件在制造任务i的可选制造资源k的状态的信息，δik=｛0，1，2｝， 0表示不在制造资源k处加工， 1表示在制造资源k处加工， 2表示在制造资源k处加工完成。 3.2 行动空间 决策者在制造任务开工后观察加工过程直到当前制造任务完工，此时决策者需选取下一个制造任务的制造资源提供商，比如制造任务2在制造任务1完工后开工，制造 任务1在制造资源提供商2处被服务，制造任务1加工完成后选择制造任务2的制造资源提供商，制造任务2可以选择的制造资源提供商为1，2，3，4，5。这说明状态 （1，2，2）的可用行动集为（2，1，δ i）（2，2，δ i）（2，3，δ i）（2，4，δ i）（2，5，δ i）。 3.3 转移规律 考虑到设备故障等随机因素的影响，采用随机转移矩阵来描述其转移机制： p（k｜I，α）表示在工件处于状态i决策者采取行动α时，工件下一时刻转移到状态k的 条件概率。 3.4 奖励函数 奖励函数的计算中包含制造资源服务属性值和物流服务属性。如公式（3.1）所示： 其中Wt表示归一化采购时间权重， Wc表示归一化采购成本权重， Wq表示归一化采购服务质量权重，同时， Wt+Wc+Wq=1。Vt′（tik+tijk′）表示归一化处理后的采购 时间的值，采购成本包括加工成本和物流运输成本； Vc ′（cik+cijk′）表示归一化处理后的采购成本的值，采购成本包括加工成本和物流运输成本； Vq ′（qik）表示归 一化处理后的采购服务质量的值。 3.5 Q-Learning算法 Q学习只根据值函数进行