具有马可夫性质 稳定的转移机率.ppt

第二節　馬可夫過程 若條件機率符合下述情況 P(xn=jn | x0=j0, x1=j1，…,xn-1=jn-1) = P(xn=jn |xn-1=jn-1) 則此隨機過程稱為馬可夫過程，此過程具有下列意義： 其條件機率僅與前一次狀態有關，不受其他過去的影響。 此過程的機率法則，可由兩條件描述 ①起始機率 p{x0 = j0} 為已知。 ②由第 n-1 期轉移至第 n 期的轉移機率為已知。 轉移機率 p{xm+n=j | xm=i}(n=0,1,2…)，其意為由第 m 期經過 n 期後轉移至第 m+n 期的條件機率，應由 m+1 逐期計算至 m+n 期，若轉移機率與經過期數之多寡有關，且與始點 m 無關，則此過程具有穩定轉移機率分配。此機率之存在，亦表示 就每一 i、 j 與 n (n = 0, 1, 2,…) 而言 p(xm+n=j | xm=i) = p(xn=j | x0=i) 此等條件機率通常以　 表示，稱為 n 步轉移機率。此　 　　 即為隨機變數 x，由狀態 i 起始，恰於 n 步 (時間單位)後處於狀態 j 的條件機率。 因　 為條件機率，必須滿足下列性質 ，對所有 i 和 j ，n =0,1,2,… ，對所有 i 和 n =0,1,2,… 以矩陣形式表示轉移為率為 一隨機過程，若具有下列各性質，稱為有限馬可夫鏈 有限個數的狀態。 具有馬可夫性質。 穩定的轉移機率。 起始機率集合，即所有 i 值之 p{x0 = i}。 另一種表示轉移機率的方法為前述之鏈環程序，如下圖，也可以樹枝圖表示其變化程序 上圖可用轉移矩陣表示為 用樹枝圖表示為(若由 a1 開始) 馬可夫鏈環程序繪製樹枝圖主要功能，係在計算自狀態 i 開始，經 n 步後至狀態 j 的機率　　 值。如一開始在狀態 1 經 2 步後至各狀態(1,2,3)之機率為 同理，可計算自狀態 2、3 開始，經 2 步後至各狀態之機率，但如果所經過 n 步太多，使用樹枝圖計算頗不方便，我們可使用轉移矩陣，利用矩陣乘法將各機率值算出會簡便許多。 因 P 由列至行，所以每列和為1，P(2) = P×P 因此P(2)也是由列到行，每列和為 1，(若原先之 P 由行至列，每行和為 1， P(2)也是行至列，每行和也為1)。P2 之意義為 　　　　　　　　　　　　　　　與樹枝圖所計算之答案相同。如果現在要計算經 8 步後之各機率，使用樹枝圖繪製出的圖形會很龐大，若使用轉移矩陣，只要計算 P×P=P(2)，P(2) × P(2) = P(4)，P(4) × P(4) = P(8) ，便可將經 8 步之後之各機率算出，簡便不少。 現在有一隻老鼠走迷宮，假設這隻老鼠沒有記憶能力，迷宮之圖形如上圖之鏈環圖，如果這隻老鼠一開始放在 a1，經過一步後，這隻老鼠在各狀態之機率為何？ 作業研究．Chapter 11　馬可夫鏈 11-* 作 業 研 究 陳坤茂　著 11 馬可夫鏈 作作看2