深度学习与强化学习.pdf

深度学习与强化学习

WeihongChen

2017/06/30

目录

深度学习基础

强化学习基础

深度学习中的强化学习

一、深度学习基础DeepLearning

DNN深度神经网络

L0L1L2Ln

wwww

计算损失函数

(l)(l)

yf(z)

jj(l)(l)2

J0.5(yt)

(l)(l)(l)(l)

zwxb

jiijij

随机梯度下降(SGD)进行训练.

CNN卷积神经网络

卷积、池化、全连接、softmax

二、强化学习基础ReinforcementLearning

多阶段决策

1.ValueFunction价值函数

2.BellmanEquation贝尔曼方程

1ValueFunction价值函数

投资决策问题

假如我们有一笔X美元的资金,可以有三种选择来使用这

笔资金:

1.使用资金进行股票投资

2.使用资金进行买房投资

3.使用资金购买书籍、科研设备等提升资金

那么，我们就面临如何做选择的问题.只能选择其中一种.

基于Policy的方法基于Value的方法

?需要估算ValueFunction

2BellmanEquation

问题的基本形式可以描述为:

t

MaxF(X(t),Ut())

stXt..(1)Gx(),Ut(),t0,1,2,3

Xt(0)X0

定义值函数为:

t

V(X(t),t)=MaxF(Xt(),Ut()),(0,1)

任意阶段的贝尔曼方程就可以表示为

t:

U(X(t),t)=Max{F(X(t),Ut())V(Xt(1),t1)}

三、深度学习中的强化学习

DeepReinforcementLearning

1基础

基于求解Bellman方程

PolicyIteration

ValueIteration

SARSA

Q-Learning