求解POMDP的动态合并激励学习算法.pdf

第31 卷 第22 期 计 算 机 工 程 2005 年11 月 Vol.31 22 Computer Engineering November 2005 博士论文 文章编号 1000 3428(2005)22 0004 03 文献标识码 A 中图分类号 TP182 求解POMDP的动态合并激励学习算法 1,2 1 2 2 殷苌茗 王汉兴 陈焕文 谢丽娟 ( 1.上海大学理学院 上海200436 2.长沙理工大学计算机与通信工程学院 长沙 410077 ) 摘 要 把 POMDP 作为激励学习(Reinforcement Learning)问题的模型 对于具有大状态空间问题的求解有比较好的适应性和有效性 但 由于其求解的难度远远地超过了一般的Markov 决策过程(MDP)的求解 因此还有许多问题有待解决 该文基于这样的背景 在给定一些 特殊的约束条件下提出的一种求解POMDP 的方法 即求解POMDP 的动态合并激励学习算法 该方法利用区域的概念 在环境状态空间 上建立一个区域系统 Agent 在区域系统的每个区域上独自并行地实现其最优目标 加快了运算速度 然后把各组成部分的最优值函数按 一定的方式整合 最后得出POMDP 的最优解 关键词 部分可观测Markov 决策过程 激励学习 动态合并 信度状态 Dynamic Merge Reinforcement Learning Algorithm for Solving POMDP 1,2 1 2 2 YIN Changming , WANG Hanxing , CHEN Huanwen , XIE Lijuan ( 1. College of Science, Shanghai University, Shanghai 200436; 2.College of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha 410077 ) Abstract This paper advances a new algorithm for solving a POMDP with some restriction conditions, which is the dynamic merge reinforcement learning method for solving a POMDP. This algorithm approves the conception of regions and then the paper sets up a regional system on state space of environment. The agent searches its optimal sub-goal separately at each region in regional system using parallel method, for the sake of speeding up the computations over this algorithm, an