RNN以及LSTM的Matlab代码优质文档.docx

RNN以及LSTM的Matlab代码

最近一致在研究RNN，RNN网络有很多种类型，我主要是对LSTM这种网络比较感兴趣，之前看了Trask的博客（/2015/11/15/anyone-can-code-lstm/），他给出了基本的RNN的Python代码，我将其用Matlab实现了。此外，在此基础上，我还是实现了LSTM的Matlab版本，但是有一点要说明的是，RNN的实验结果比较好，但是LSTM的结果却不怎么好，我有两方面的怀疑，第一个是LSTM并不适合本实验中的例子；第二就是本人实现的LSTM网络有问题，如果是这样，希望大家帮助我指出来（貌似我感觉原理没有问题），还有一个问题，谁能告诉我在sina博客里面贴代码：-）.

Note:Foranyonewhousesthecodeinthisblog,thereisnolicense.Youcanjustuseit,andtherearenowarrantiesforthecode.

下面首先给出RNN的Matlab代码，里面有些地方我进行了注释：

%implementationofRNN?

clc

clear

closeall

%%trainingdatasetgeneration

binary_dim=8;

largest_number=2^binary_dim-1;

binary=cell(largest_number,1);

int2binary=cell(largest_number,1);

fori=1:largest_number+1

binary{i}=dec2bin(i-1,8);

int2binary{i}=binary{i};

end

%%inputvariables

alpha=0.1;

input_dim=2;

hidden_dim=16;

output_dim=1;

%%initializeneuralnetworkweights

synapse_0=2*rand(input_dim,hidden_dim)-1;

synapse_1=2*rand(hidden_dim,output_dim)-1;

synapse_h=2*rand(hidden_dim,hidden_dim)-1;

synapse_0_update=zeros(size(synapse_0));

synapse_1_update=zeros(size(synapse_1));

synapse_h_update=zeros(size(synapse_h));

%%trainlogic

forj=0:19999

%generateasimpleadditionproblem(a+b=c)

a_int=randi(round(largest_number/2));%intversion

a=int2binary{a_int+1};%binaryencoding

b_int=randi(floor(largest_number/2));%intversion

b=int2binary{b_int+1};%binaryencoding

%trueanswer

c_int=a_int+b_int;

c=int2binary{c_int+1};

%wherewellstoreourbestguess(binaryencoded)

d=zeros(size(c));

iflength(d)8

pause;

end

overallError=0;

layer_2_deltas=[];

layer_1_values=[];

layer_1_values=[layer_1_values;zeros(1,hidden_dim)];

%开始对一个序列进行处理，搞清楚一个东西，一个LSTM单元的输出其实就是隐含层

forposition=0:binary_dim-1

X=[a(binary_dim-position)-0b(binary_dim-position)-0];?%X是input

y=[c(binary_dim-position)-0];???????????????%Y是label，用来计算最后误差

%这里是RNN，因此隐含层比较简单

%X------------------------input

%sunapse_0---