以可适性接收域法为基础之Q学习演算法-NPUCSIE.PDFVIP

以可適性接收域法為基礎之 Q 學習演算法 徐元寶 黃國勝 林欣儀 國立虎尾科 技大學資訊工程系 國立中正大學電機工程 系 國立中正大學電機工程系 hsuyp@nfu.edu.tw hwang@ccu.edu.tw Alieta@seed.net.tw 摘要 本文提出一演算法，其結合 了改良式的 FAST 以往在 Q 學習的設計中 ，須預先分割輸入空 分類器稱為( ARM)與 Q 學習(一種加強式學習架 間的方式 ，不一定適合所有系統，而且通常須對系 構) 。ARM 為一可自我組織結構的分類器。每個類 統做深入分析才能進行分割。所以有研究者試著將 別可動態調整感知域的位置及邊界大小，且適當的 以自我組織應對 (Self-Organizing Map)的演算法 刪除不必要的類別。 ARM根據環境所給的資訊來 稱為( Q-Kohon) 代替，當外部環境狀態輸入時， 做適當的分類，並將分類結果傳送給 Q 學習。Q 可激發鄰近的區域 來求得近似的狀態-行動值 [5] ， 學習是以動態規劃為基礎之加強式學習架構，利用 並獲得良好的效果。 從環境所得到的回饋值 (reward) 來更新值價函數 彈性尺寸可適拓撲神經網路結構 (FAST) [6] Q ，找出最接近Q* （最佳Q值）的 Q值，值價函 [7] 是一種 非監督式學習的網路模式 ，它是結合 數為用來評估所採取行動的好與壞。根據 這些相關 ART [8]可變警戒值 (Variable Vigilance)的優點 訊息 ，Q 學習在經過一段學習過程後可 學習到如何 和 GAR (Grow and Present) 模型 [9]中的類別刪 送出最好的行動給外界 。最後我們以電腦模擬一倒 除 (Pruning) 機制這兩個優點所衍生出的架構，具 單擺系統的控制，並驗證 了此演算法的可行性 。 有計算量不大的優點，其演算法可處理動態分類 關鍵詞： ARM 、Q 學習、加強式學習 (Dynamic Categorization) 或即時分堆 (Online Clustering)的問題。因此 Perez [7] 將FAST 架構 Abstract 取代 AHC中的 Box [10] ，並在控制效能上獲得很 This article presents an algorithm that combines 大的改進。 a FAST-based algorithm (Flexible Adaptable-Size 本文的目的主要是研究一改良的 FAST 架 Topology), called ARM, and Q-learning algorithm. 構，並延伸此一架構將其與 Q 學習演算法結合。 The ARM is a self organizing architecture. 改良後的 FAST 架構可以產生穩定且精確的分類 Dynamically adjusting the size of sensitivity regions 結果，提供 Q 學習系統更適當的分類結果 ，使整 of each neuron and adaptively pruning one of the redundant neurons, the ARM can preserve resources 個系統具有更佳的學習效果。 (available