基于探索密度的Option子目标发现算法.pdf

第20卷第2期 模式识别与人工智能 V01．20No．2 2007年4月 PR8LAI Apr2007 基于探索密度的Option子目标发现算法 孟江华 朱纪洪 孙增圻 (清华大学计算机科学与技术系智能技术与系统国家重点实验室北京 100084) 摘 要 提出状态探索密度的概念，通过检测状态对智能体探索环境能力的影响来发现学习的子目标并构建对应 的Option．用该算法创建Option的再励学习算法能有效提高学习速度．算法具有和任务无关、不需要先验知识等 优点，构造出的Option在同一环境下不同任务间可以直接共享． 关键词 递阶再励学习，Option，探索密度(ED) 中图法分类号TPl81 for Basedon DiscoveryAlgorithmOption ExplorationDensity MENG Jiang—Hua，ZHU ji—Hong，SUNZeng—Qi (TheState and Key LaboratoryofIntelligentTechnologySystem，DepartmentofComputer Scienceand 100084) Technology，TsinghuaUniversity，Beijing ABSTRACT Anew method，named explorationdensity(ED)inspection，ispresented．Useful options werediscoveredthemethod theinfluenceofthestateon by throughinspecting agent’S explore instate simulationresultsshowthatthe hasbetter ability space．The proposedalgorithm performance inreinforcement methodhascharacteristicsof learning．The needof task—independence，noprior created canbe shared tasks knowledge，etc．The differentinthesame options directly among environment． Words Key HierarchicalReinforcement