神经网络算法-12-6.docx

用mimi-batch实现，使用梯度法更新参数。使用的是MINIST数据集，且反向传播计算梯度。

#coding:utf-8

importnumpyasnp

importmatplotlib.pyplotasplt

fromsklearn.datasetsimportfetch_openml

fromsklearn.model_selectionimporttrain_test_split

defsigmoid(x):

return1/(1+np.exp(-x))

defsigmoid_grad(x):

return(1.0-sigmoid(x))*sigmoid(x)

defsoftmax(x):

ifx.ndim==2:#维数是2即方框中套方框，有2层

x=x.T

x=x-np.max(x,axis=0)#axis=0表示第0维axis=1表示第1维

y=np.exp(x)/np.sum(np.exp(x),axis=0)

returny.T

x=x-np.max(x)#溢出对策一维

returnnp.exp(x)/np.sum(np.exp(x))

defcross_entropy_error(y,t):

ify.ndim==1:

t=t.reshape(1,t.size)

y=y.reshape(1,y.size)

#监督数据是one-hot-vector的情况下，转换为正确解标签的索引

ift.size==y.size:

t=t.argmax(axis=1)

batch_size=y.shape[0]

return-np.sum(np.log(y[np.arange(batch_size),t]+1e-7))/batch_size

defnumerical_gradient(f,x):

h=1e-4#0.0001

grad=np.zeros_like(x)

it=np.nditer(x,flags=[multi_index],op_flags=[readwrite])

whilenotit.finished:

idx=it.multi_index

tmp_val=x[idx]

x[idx]=float(tmp_val)+h

fxh1=f(x)#f(x+h)

x[idx]=tmp_val-h

fxh2=f(x)#f(x-h)

grad[idx]=(fxh1-fxh2)/(2*h)

x[idx]=tmp_val#还原值

it.iternext()

returngrad

classTwoLayerNet:

#hidden_size表示神经网络隐藏层的神经元数量

def__init__(self,input_size,hidden_size,output_size,weight_init_std=0.01):

#初始化权重

self.params={}

self.params[W1]=weight_init_std*np.random.randn(input_size,hidden_size)

self.params[b1]=np.zeros(hidden_size)#于创建一个元素全部为零的一维数组

self.params[W2]=weight_init_std*np.random.randn(hidden_size,output_size)

self.params[b2]=np.zeros(output_size)

#两层神经网络，因为self.params[W1]和self.params[W2]是两个权重矩阵，

#它们分别连接输入层和隐藏层，以及隐藏层和输出层。

defpredict(self,x):

W1,W2=self.para