类神经网路、模糊系统以及.ppt

SoftComp. Lab */44 人類的記憶根據時間長短可分為: 立即記憶 短程記憶 (只能記七件事，如電話號碼多為7個數字) 長程記憶 基本上短程記憶與長程記意並非毫無相關的運作，而是互相交替地連續運作 所有的記憶都是由短程記憶開始的。 SoftComp. Lab */44 對應到神經網路上面而言，神經元的鍵值所儲存的是長程記憶，而短程記憶則是以神經元的輸入輸出來模擬它的效果。 意即當有不同的輸入時，產生不同的輸出，以此來表示段期的記憶。 SoftComp. Lab */44 類神經網路的學習規則 機械式背誦學習 純粹的背誦，不具推廣性(generalization) 指令式學習 如同操作手冊，將外界的知識，轉化為本身的語言 類推式學習 例如:原本打羽球的人，能很快的掌握網球的基本技巧。 歸納式學習 (最適合類神經網路,分以下三種) 從範例中學習 從觀察即發現中學習 增強式學習 (reinforcement learning) SoftComp. Lab */44 在此針對歸納式學習法，以一個數學式來描述其學習規則： 及 表原先及調整後的值  表示神經元受刺激後，為了達到學習效果，所必需的改變量。 SoftComp. Lab */44 而此改變量，通常是 當時的輸入值 原先的鍵結值 期望的輸出值 三者間的某種函數關係，亦可用下是代表而其函數F是其學習規則而定。 SoftComp. Lab */44 Hebbian學習規則 若兩個神經元都處於同一種狀態，例如同屬激發狀態，則兩個神經元間的鍵結值會被增強。此種學習規則屬於前饋式。以下是最常用之形式： SoftComp. Lab */44 η為學習率常數且為正的實數，值得注意的是，若以上述規則調整鏈結值，會產生迴授，使的鍵值無限制增長，故加入了「遺忘效果」 。  α為正實數 Hebbian 提供聯想記憶一個基本原則，如線性聯想記憶及霍普菲爾網路。 SoftComp. Lab */44 錯誤更正法 基本概念為神經元真實輸出值與期望值，不同時，其誤差定為ej(n): 接著選定一特定「代價函數」cost function 反映出誤差的量，若誤差信號越大，代價函數越大，而其目標則是調整鍵值使代價函數越來越小。 SoftComp. Lab */44 Cost function 普遍採用以下兩種形式: Windrow-Hoff 學習法 梯度(此規則亦稱最小均方法) SoftComp. Lab */44 Delta學習法 其活化函數皆為連續且可微分的，cost function 定義為：其梯度坡降法為: SoftComp. Lab */44 當 時，則Widrow-Hoff學習可視為Delta學習法的一項特例。 競爭式學習法 (Competitive learning) 當輸入呈現時，網路上的神經元會彼此競爭，以便獲得活化的機會，此機會只給予獲勝的神經元，給予調節鏈結值的機會。 SoftComp. Lab */44 假設此網路中有N個神經元，初始權重向量為wj , j=1,2,…N 求輸入資料點與所有權重向量之距離 其中距離最小者，其對應之神經元為優勝者，並取得更新權重向量的權利(winner-take-all) 調整獲勝神經元之權重向量 已收斂 或疊代次數 到達設定上限 結束 否 是 Competitive learning SoftComp. Lab */44 步驟一:篩選得勝者，若網路中有N 個神經元若第k個神經元為得勝 步驟二: 調整權重向量: if j=k, SoftComp. Lab */44 值得注意的是，通常每個神經元的鏈結值會被「正規化」成為長度一的單位向量，使用此種學習法的網路有自我組織特徵映射網路(SOFM)及學習向量(learning vector)網路。 SoftComp. Lab */44 結語 本章簡介生物神經網路並進一步探討了生物神經元負擔著學習及記憶的功能。 須了解生物如何學習與記憶，才能模仿高智慧型的生物，以設計出有學習能力的機器。 在了解神經網路之後，產生一下這些問題：我們有所謂的自由意志嗎?還是只是一堆神經元所構成的狀態機?所有反應都有神經元決定，意志如何去激發神經元呢? * SoftComp. Lab */44 第一章 類神經網路之簡介 引言 人類大腦具有(1)腦幹(br