演化式神经网路.doc

演化式神經網路 陳慶瀚 義守大學電機工程學系 1. 概論 神經網路作為一種自動化的技術已經有許多成功的案例，譬如複雜非線性的資訊處理、型態識別、時間序列預測、智慧型控制等應用，這些案例的成功常常取決於特定問題(problem-specific)的特定網路架構設計而不在網路的學習演算法[1]。目前仍缺乏有效的、系統化的方法來從事神經網路架構的設計。以最廣泛應用的多層式感知機(multi-layer perceptron)為例，在進行學習之前的網路拓樸(隱藏層數目、神經元數目、及神經元之間的鏈結)以及學習參數的決定常憑藉經驗法則或是嘗試錯誤法，至於網路的鏈結權值(connection weight)則藉由學習產生，例如利用著名的誤差倒傳遞(Error Back-Propagation)方法。但是有的神經網路模型並不具有可微分的特性，如遞迴式神經網路就無法以誤差倒傳遞的方法來求得鏈結權值[1]。 上述困難限制了神經網路的應用範疇。特別在工業自動化的各類應用問題，神經網路的系統設計者和使用者通常需要針對不同的問題特性或環境能夠快速設計神經網路的應用系統，而且必須同時滿足性能(解題能力)及效率(執行速度)的最佳化。針對此一問題，本文將藉由遺傳演算來實現神經網路的自動化設計。 目前所有商業性的神經網路設計軟體幾乎都採用架構設計─評估─測試週期(Design-Evaluate-Test cycle)的設計程序[2]。在架構設計階段，網路結構(structure)、鏈結拓樸(connection topology)、神經元轉移函數(transfer function)和學習演算法、學習參數必須事先決定；評估階段在對於學習範例進行模擬和評估；最後階段則使用未經學習的資料來測試。所得結果如果不理想，則須修改原來的設計架構，也就是另一個新的設計週期。如此的設計程序意味著神經網路設計者是在一個所有可能的網路組態空間中以隨機的方式搜尋最佳的網路組態。如果網路組態可以被形式化(formalize)或參數化(parameterize)，則此一問題可被視為最佳化(optimization)的問題。 在各種最佳化的技術中，遺傳演算具有兩個重要的特質[3]：第一，它是一種全面性最佳化(global optimization)的方法，有別於其它局部最佳化的方法(如誤差倒傳遞)；第二，它採用multi-agent隨機搜尋的策略，有別於single-agent隨機搜尋的策略(如模擬退火法-simulated annealing)，表現出本質上的平行演算的能力。這兩個特質使遺傳演算具有在高維度(high-dimensional)問題空間中搜尋全面性最佳解的良好能力。近年來，相當多的研究者將遺傳演算應用在神經網路，也證實了這兩種技術結合的可行性[2]。 然而將遺傳演算和神經網路結合在一個應用問題中並非沒有障礙[。首先要將應用問題形式化成為輸入─輸出映對(input-output mapping)的神經網路處理模式，對照這個輸入─輸出映對的可能神經網路架構是一個約束的搜尋空間(bounded searching space)。要搜尋最佳的神經網路架構，需先決定遺傳演算的編碼形式；其次要決定想要求解的精度，精度要求越大，所需編碼長度越長，搜尋的範圍和時間都相對增加，但如果精度太低，則可能會漏失想要的合適解。最後要選用或設計新的遺傳運算子(genetic operator)，包括篩選(selection)、交配(crossover)、突變(mutation)和一些與問題相關(problem-specific)的遺傳運算子。 本文區分五節。在第二節，我們將提出神經網路的建構單元(building block)以提供系統性的神經網路設計規格；第三節則探討神經網路的遺傳編碼方法和遺傳運算子。第四節在於規畫一個神經網路的自動化設計程序。首先決定神經網路/遺傳編碼映對(neural network/genetic encoding mapping)關係，其次定義可進行最佳化搜尋的網路架構空間(network architecture space)，再定義神經網路性能和效率的評估函數(evaluation function)以及演化搜尋策略，最後是神經網路的合成(synthese)。 2. 分析神經網路的建構單元 分析神經網路建構單元的目的在於得到網路模組化、階層式的結構。藉由基本的建構單元，我們可以方便的修改、擴充或建造更複雜的神經網路架構，同時也很容易從其中擷取設計規格。此一分析工作最大的挑戰在於確保每個建構單元機能的獨立性又同時需要建構單元之間良好的通訊界面，以利複雜網路的設計和合成。 圖一展示了單一神經元建構單元（Single Neuron Building Block），單一神