模式识别导论patternrecognition-大数据资源.ppt

我們以鳶尾花數據集為例，由於單層感知器是一個二分類器，所以我們將鳶尾花數據也分為兩類，“setosa”與“versicolor” (將後兩類均看做第2類)，那麼數據按照特徵：花瓣長度與寬度做分類。 標準BP演算法的改進 標準的BP演算法在應用中暴露出不少內在的缺陷： ⑴ 易形成局部極小而得不到全域最優； ⑵ 訓練次數多使得學習效率低，收斂速度慢； ⑶ 隱節點的選取缺乏理論指導； ⑷ 訓練時學習新樣本有遺忘舊樣本的趨勢。 針對上述問題，國內外已提出不少有效的改進演算法。 3.3 誤差反傳（BP）演算法 3 前饋神經網絡 R實戰-神經網絡 library(Rcpp) library(RSNNS) data(iris) iris = iris[sample(1:nrow(iris),length(1:nrow(iris))),1:ncol(iris)] # 將數據順序打亂 irisValues= iris[,1:4] # 定義網絡輸入 irisTargets = decodeClassLabels(iris[,5]) # 定義網絡輸出 # 訓練樣本和檢驗樣本,預設20%劃分為測試樣本 iris = splitForTrainingAndTest(irisValues, irisTargets, ratio=0.20) iris = normTrainingAndTestSet(iris) #數據標準化 # 訓練預測模型，利用mlp命令執行 前饋反向傳播神經網絡演算法 model = mlp(iris$inputsTrain, iris$targetsTrain, size=4, learnFunc=Quickprop, learnFuncParams=c(0.1, 2.0, 0.0001, 0.1), maxit=100, inputsTest=iris$inputsTest, targetsTest=iris$targetsTest) summary(model) weightMatrix=weightMatrix(model) #查看神經網絡各節點連接的權重 predResult = predict(model,iris$inputsTest) #利用上面建立的模型進行預測 conMatrix=confusionMatrix(iris$targetsTest, predResult) 一個最簡單的單計算節點感知器具有分類功能。其分類原理是將分類知識存儲於感知器的權向量（包含了閾值）中，由權向量確定的分類判決界面將輸入模式分為兩類。 3 前饋神經網絡 3.1單層感知器 --感知器的功能 感知器學習規則的訓練步驟： (1) 對各權值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m為計算層的節點數）賦予較小的非零隨機數； (2) 輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， dp為期望的輸出向量（教師信號），上標p代表 樣本對的模式序號，設樣本集中的樣本總數為P， 則p=1,2,┄,P； 3 前饋神經網絡 3.1單層感知器 -- 感知器的學習演算法 感知器學習規則的訓練步驟： (3)計算各節點的實際輸出 ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m； (4)調整各節點對應的權值，Wj(t+1)= Wj(t)+η[dj p-oj p(t)]Xp, j=1, 2,┄,m, 其中η為學習率，用於控制調整速度，太大 會影響訓練的穩定性，太小則使訓練的收斂速度變慢， 一般取0＜η≤1； (5)返回到步驟(2)輸入下一對樣本，周而復始直到對所有 樣本，感知器的實際輸出與期望輸出相等。 3.1單層感知器 -- 感知器的學習演算法 3 前饋神經網絡 例： 單計算節點感知器，3個輸入。給定3對訓練樣本對如下： X1 = (-1，1，-2，0)T d1 = ?1 X2 = (-1，0，1.5，-0.5)T d2 = ? 1 X3 = (-1，-1，1，0.5)T d3 =1 設初始權向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個分量 x0 恒