基于状态聚类的非参数化近似广义策略迭代增强学习算法.PDF

第 卷 第期 控 制 与 决 策 年 月 文章编号 基于状态聚类的非参数化近似广义策略迭代增强学习算法 季 挺 张 华 南昌大学江西省机器人与焊接自动化重点实验室，南昌 摘 要 为解决当前近似策略迭代增强学习算法普遍存在计算量大、基函数不能完全自动构建的问题 提出一种 基于状态聚类的非参数化近似广义策略迭代增强学习算法 该算法利用二级随机采样过程采集样 本 利用 过程和以样本完全覆盖为目标的估计方法计算逼近器初始参数 利用 规则和最近邻思 想在学习过程中自适应地调整逼近器 利用贪心策略选择应执行的动作 一级倒立摆平衡控制的仿真实验结果验 证了所提出算法的有效性和鲁棒性 关键词 增强学习；策略迭代；非参数化；状态聚类 中图分类号 文献标志码 ， ， ， ff ； ； ； 种算法依然需要手工构建基函数 基于核的近似策 经典增强学习算法使用表格存储和计算 值 略迭代增强学习算法 能够在相当程度上解决逼 或 值 仅适于解决小规模、离散状态和动作空间 近器的自动构建问题但依然需要手动选择基函数宽 中的问题 实际系统通常工作在大规模、连续状态 度、稀疏度阈值等参数 和动作空间中 若依然采取表格算法则会导致“维数 鉴于此 本文提出一种基于状态聚类的非参数化 灾”问题 近似策略迭代算法是解决“维数灾”问题 近似广义策略迭代增强学习算法 该算 的主要方法之一 典型的近似策略迭代增强学习算法 法能够综合利用离线和在线样本 不仅计算量较小 为离线算法 不仅计算量大 而且值函数逼近 而且只需预先指定增强学习的允许误差率 便能够 器包括基函数和参数 依赖先验知识或通过反复试 在与环境的交互过程中自主构建和调整逼近器的基 凑确定 不具备自动构建的能力 解决 函数和参数 将 应用于一级倒立摆平衡 了 算法的在线计算问题 在