论文：基于强化学习的自适应变步长机器人路径规划算法.pdf

基于强化学习的自适应变步长机器人路径规划算法 1 2 1 1 涂自然 王 维 梁以业 禹建丽 摘要：强化学习一词源于行为科学，它模仿人与动物的自然学习过程，通过对环境的反复试探，从而建立从 环境状态到行为动作的映射。本文针对基于神经网络结构的机器人全局路径规划算法，利用强化学习的思想， 引进评价预测学习的自适应变步长算法，实现了步长的自动调节，并且加快了路径规划的计算速度，通过仿 真试验，表明了所提算法的有效性。 关键词：强化学习，机器人全局路径规划，自适应变步长 An Adaptive Variable Stepsizes Algorithm for Path Planning Based on Reinforcement Learning Tu Ziran 1 Wang Wei 2 Liang Yiye 1 YU Jianli 1 1. Department of Mathematics and Physics, He Nan University of Science Technology Luoyang, 471003; 2. Institute of Elecctrification information Engineering ,He Nan University of Science Technology , Luoyang, 471003 Abstract: Reinforcement learning is an important class of learning techniques that learns to perform a certain task through trial and error interactions with an knowledge-poor environment. This paper studies the problem of adaptive variable stepsize of robotic path planning. The proposed method here using critic prediction learning penalty allows to perform on-line adaptive variance of stepsizes, and the convergence speed of path planning is at least increased by 10 times more than former’s. Key words: Learning algorithm, Global path planning, Adaptive variable stepsize 1 引言 机器人路径规划问题可以分为两种，一种是环境已知的全局路径规划，另一种是基于传 [1,2] 感器信息的环境未知或部分未知的局部路径规划。全局路径规划 的基本问题是在已知障 碍物形状和位置环境下寻找一条从起点到终点的避障路径，另一个重要问题是，如何使规划 的避障路径达到最短，即寻求最短避障路径。全局路径规划已提出的典型方法有可视图法、 [3,4] 人工势场法等 。文献[5]中提出了一种基于神经网络结构的路径规划算法，该算法不存在 组合爆炸问题，并且能够规划出最短无碰路径，但该算法采用固定学习步长参数，当步长参 数选择太小时，收敛速度缓慢；当步长参数选择过大时，会引起振荡或发散。为达到系统对 [6] 步长参数进行自动调节的目的，本文提出了一种强化学习 算法，实现对步长参数的在线自 动调节，通过仿真实验，表明所提算法是有效的，并且使路径规划收敛速度提高了十多倍， 2 强化学习 [6,7]