反向传播网络课件.ppt

反向傳播網路反向傳播網路(Back—PropagationNetwork，簡稱BP網路)是將W—H學習規則一般化，對非線性可微分函數進行權值訓練的多層網路。BP網路是一種多層前向回饋神經網路，其神經元的變換函數是S型函數，因此輸出量為0到1之間的連續量，它可以實現從輸入到輸出的任意的非線性映射。由於其權值的調整採用反向傳播（Backpropagation）的學習演算法，因此被稱為BP網路。BP網路主要用於：1)函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近—個函數；2)模式識別：用一個特定的輸出向量將它與輸入向量聯繫起來；3)分類：把輸入向量以所定義的合適方式進行分類；4)數據壓縮：減少輸出向量維數以便於傳輸或存儲。6．1BP網路模型與結構一個具有r個輸入和一個隱含層的神經網路模型結構感知器和自適應線性元件的主要差別在啟動函數上：前者是二值型的，後者是線性的。BP網路具有一層或多層隱含層，除了在多層網路上與前面已介紹過的模型有不同外，其主要差別也表現在啟動函數上。BP網路的啟動函數必須是處處可微的，所以它就不能採用二值型的閥值函數{0，1}或符號函數{—1，1}，BP網路經常使用的是S型的對數或正切啟動函數和線性函數。圖6.2BP網路S型啟動函數因為S型函數具有非線性放大係數功能，它可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出，對較大的輸入信號，放大係數較小；而對較小的輸入信號，放大係數則較大，所以採用S型啟動函數可以去處理和逼近非線性的輸入/輸出關係。只有當希望對網路的輸出進行限制，如限制在0和1之間，那麼在輸出層應當包含S型啟動函數，在一般情況下，均是在隱含層採用S型啟動函數，而輸出層採用線性啟動函數。BP網路的特點：1、輸入和輸出是並行的模擬量；2、網路的輸入輸出關係是各層連接的權因數決定，沒有固定的演算法；3、權因數是通過學習信號調節的，這樣學習越多，網路越聰明；4、隱含層越多，網路輸出精度越高，且個別權因數的損壞不會對網路輸出產生大的影響6．2BP學習規則BP演算法屬於δ演算法，是一種監督式的學習演算法。其主要思想為：對於q個輸入學習樣本：P1，P2，……Pq，已知與其對應的輸出樣本為：T1，T2，……Tq。學習的目的是用網路的實際輸出A1，A2，……Aq，與目標向量T1，T2，……Tq，之間的誤差來修改其權值，使Al，(l＝l，2…，q)與期望的Tl盡可能地接近；即：使網路輸出層的誤差平方和達到最小。BP演算法是由兩部分組成：資訊的正向傳遞與誤差的反向傳播。在正向傳播過程中，輸入資訊從輸入經隱含層逐層計算傳向輸出層，每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然後轉向反向傳播，通過網路將誤差信號沿原來的連接通路反傳回來修改各層神經元的權值直至達到期望目標。圖6．3具有一個隱含層的簡化網路圖設輸入為P，輸入神經元有r個，隱含層內有s1個神經元，啟動函數為F1，輸出層內有s2個神經元，對應的啟動函數為F2，輸出為A，目標向量為T。6．2．1資訊的正向傳遞1)隱含層中第i個神經元的輸出為：2)輸出層第k個神經元的輸出為：3)定義誤差函數為：(6.1)（6.2）（6.3）6．2．2利用梯度下降法求權值變化及誤差的反向傳播(1)輸出層的權值變化對從第i個輸入到第k個輸出的權值有：其中：同理可得：（6.4）（6.5）（6.6）（6.7）(2)隱含層權值變化對從第j個輸入到第i個輸出的權值，有：其中：同理可得：（6.8）（6.9）（6.10）通過MATLAB的實現過程：1)對於(6．1)式所表示的隱含層輸出，若採用對數S型啟動函數，則用函數logsig.m；若採用雙曲正切S型啟動函數，則用函數tansig.m；2)對於(6．2)式所表示的輸出層輸出，若採用線性啟動函數有purelin.m與之對應；3)對於(6．3)式所表示的誤差函數，可用函數sumsqr.m求之；4)有learnbp.m函數專門求(6．4)、(6．7)、(6．8)和(6．10)式所表示的輸出層以及隱含層中權值與偏差的變化量；5)由(6.5)和(6.9)式所表示的誤差的變化有函數deltalin.m、deltatan.m、deltalog.m來解決。它們分別用於線性層、雙曲正切層和對數層。6．2．3誤差反向傳播的流程圖與圖形解釋誤差反向傳播過程實際上是通過計算輸出層的誤差ek，然後將其與輸出層啟動函數的一階導數f