基于psr模型的规划算法-控制与决策.pdf

第 24 卷 第 2 期 控 　制 　与 　决 　策 　2009 年 2 月 Vol . 24 No . 2 Cont rol an d D ecis ion 　　Feb . 2009 　　文章编号 : 100 10920 (2009) 基于 PSR 模型的规划算法 刘云龙 , 李人厚 , 刘建书 (西安交通大学 系统工程研究所 , 西安 7 10049) 摘 　要 : 提出一种基于 P SR 模型的规划算法. 首先提出了状态经历的概念与发现方法 ,并进一步用此概念来描述系 统的 PSR 状态. 在此基础上 ,讨论了如何用判别分析方法 ,确定任意经历下的 P SR 状态以及如何在该过程中同时获 取系统的 PSR 模型. 从而可引入 Q 学习算法 ,用于决策当前的最优策略. 算法被应用于一些标准的 POMD P 问题 , 实验结果验证了所提方法的有效性. 关键词 : PSR 模型 ; 状态经历 ; 判别分析 ; Q 学习 中图分类号 : TP 181 　　　　文献标识码 : A Planning algorithm based on PSR model s L I U Yunl ong , L I R enhou , L I U J i ans h u ( Syst em Engineering In stit ut e , Xi ’an J iaotong U niver sit y , Xi ’an 7 10049 , China . Correspondent : L IU Yunlong , Email : ylliu sv @163 . com) Abstract : A planning algorit hm ba sed on p redictive st at e rep resent ation ( P SR) model s i s p ropo sed . The concep t of st at e hi story i s p resent ed and u sed for describing t he P SR st at e . Ba sed on t hese , how to identify t he PSR st at e at any hi story by u sing di scriminant function analysi s and how to obt ain t he PSR mo del of t he syst em are di scu ssed . Then , Qlearning algorit hm i s int roduced for finding t he op timal policy . The algorit hm i s applied to a st andar d set of POMD P t est p roblem s. Simulation result s show t he effectiveness of t hi s algorit hm . Key words : P SR mo del ; St at e hi story ; Di scriminant function analy si s ; Qlearning [3 ] 1 　引　　言 要的目的 . 对于一个未知系统 , 用于计算其 P SR ( ) 模型的各个参数的数据 ,是通过和系统交互而获取