大三上-ai期末作业.pdfVIP

人工智能与应用

课程设计报告

题目：基于Q-learning的

Cliff-Walking问题

学院：学院

专业：电子

：飞

：

本文主要针对增强学习中的一个案例：Cliff-Walking问题进行分析与讨论，

采用的算法为Q-learning算法，采用的编程语言为Python。

一、问题介绍

这是一个走悬崖的问题。强化学习中的主体从S出发走到G处一个回合结

束，除了在边缘以外都有上下左右四个行动，如果主体走入悬崖区域，回报为-

100，走入中间三个圆圈中的任一个，会得到-1的，走入其他所有的位置，

回报都为-5。

图1

问题：用Q-learning来使agent学习最优的策略。

12*4格，S(0,0),G(11,0)，(5,2)、(6,2)、(7,2)位置-1，(1,0)-(10,0)为悬崖。

二、问题分析与建模

如图所示，在每个网格都可以走上下左右四个方向，但是进入cliff区域会马

上回到s点，设S(0,0),G(12,0)，建立坐标轴。整个网格长12，宽4。

设计环境，下个状态，如下所示。

1.如果当前状态是goal，则立即返回下个状态和值值也为-5，goal

的下一个状态其实是没用的，因为一旦检测到最终状态，就会结束，但是需要用

到goal的下一个状态用来更新goal的Q(s,a)值。

2.如果当前状态在cliff区域里面，则立即返回到S，值为-100。

3.如果当前状态在(5,2)、(6,2)、(7,2)，值为-1。

4.其他则返回-5的值。

定义Q-learning函数，a_next=max_q(x_next,y_next,q)，runs指1000个episode

执行了20次，然后取平均值。可得到最优路径。

法原理介绍

本文采用的算法为Q-learning算法，算法原理及步骤具体如下：

1.给定参数和reward矩阵R；

2.令Q:=0；

3.Foreachepisode

3.1随机选择一个初始的状态；s

3.2若未达到目标状态，则执行以下几步；

1在当前状态的所有可能行为中选择一个行为；sa



2利用选定的行为，得到下一个状态as；

2as



3按照Q,=R,+maxQ,计算Q,;

333333333333QQQQQQQQQQQQsassss,,,,,,,,,,,,aaaaRRRRRRRRRRRRsassss,,,,,,,,,,,,aaaamaxmaxmaxmaxmaxmaxmaxmaxmaxmaxmaxmaxQQQQQQQQQQQQsassss,,,,,,,,,,,,aaaaQQQQQQQQQQQQsassss,,,,,,,,,,,,aaaa;;;;;;;;;;;;

