新课程网校原创资料模版2003.doc

熵 (Entropy) 李天岩 在我們日常生活中，似乎經常存在看「不確定性」的問題。比方說，天氣預報員常說「明天下雨的可能性是 70%。這是我們習以為常的「不確定性」問題的一個例子。一般不確定性問題所包含「不確定」(uncertainty) 的程度可以用數學來定量地描述嗎？在多數的情況下是可以的。本世紀40年代末，由於信息理論 (information theory) 的需要而首次出現的 Shannon 熵，50年代末以解決遍歷理論 (ergodic theory) 經典問題而嶄露頭角的 Kolmogorov 熵，以及60年代中期，為研究拓樸動力系統 (topological dynamical system) 而產生的拓樸熵 (topological entropy) 等概念，都是關於不確定性的數學度量。它們在現代動力系統和遍歷理論中，扮演看十分重要的角色。在自然科學和社會科學中的應用也日趨廣泛。本文的主旨在於引導盡量多的讀者在這一引人入勝的領域中尋幽訪勝，而不必在艱深的數學語言中躑躅不前。物理、化學家們也許對他們早已熟悉的熱力學熵更覺親切。我們在最後一節也將給古典的 Boltzmann 熵作一番數學的描述。1. Shannon 熵 設想我們有兩枚五分硬幣，一枚硬幣表面光滑，材料均勻，而另一枚硬幣則表面粗糙，奇形怪狀。我們把硬幣上有人頭的那面叫正面，另一面稱反面。然後在一個光滑的桌面上旋轉硬幣，等它停下來後，看是正面或是反面。這是一個不確定性的問題：可能是正面，可能是反面。第一枚硬幣，由於正面和反面的對稱性，正面或反面朝上的機率各為一半。但對第二枚硬幣來說，由於材料磨損，正面和反面不再對稱。可能正面朝上的機率為 70%，反面朝上的機率為 30%。對「究竟會是正面？或會是反面？」這一不確定性問題來說，第一枚硬幣「不確定」的程度顯然比第二枚硬幣要大了許多。若要下賭注的話，我想還是下第二枚硬幣的正面朝上，較為保險，不是嗎？現在假設鑄幣局的先生們別出心裁，把硬幣設計成圖1-1所示的形狀，其上為正，其下為反，則無論我們怎樣旋轉它，最終總是正面朝上。它「不確定」的度量應該為零-其結果在未旋轉前都已確定，那來什麼「不」確定度呢？ 圖1-1 有了這些直接的觀察，我們可以在數學上做文章了。假設樣本空間 (Sample space) X 有 n 的基本事件 (events)，其基本事件 wi 的概率為 pi, i=1,2,…,n。我們記之為 。當然，我們有基本關係式 , i=1,2,…,n。我們要定義一個函數 H 它的定義域是所有的樣本空間，它在樣本空間 的值，我們用 來表示（X 省略掉）我們要拿這個數來刻劃具有概率分別為 p1,p2, …, pn 的事件 w1,w2,…,wn 的樣本空間的「不確定度」。 若要精確地反映試驗結果的不確定度，似乎必須滿足下列三個基本條件： (i) 對固定 n 來說，H 是 (p1,…,pn) 的連續函數：（這是數學上很基本的要求） 代替硬幣，讓我們來擲骰子。這骰子是個材料均勻各面光滑的正六邊體。當我們將它擲到桌面上時，每個面朝上的機率都是 。究竟是那面朝上的不確定度，顯然比旋轉光滑對稱硬幣那面朝上的不確定度要大許多。這個事實若用 H 來表達，應當是 一般來說，H 應當滿足。 (ii) 若 ，i=1,2,…,n，則對應的 應當是 n 的單調遞增函數。 現在有一筆研究經費要分配給工程系的一名教授或數學系的兩名教授之一。假設工程系教授 A 獲得這筆經費的可能性是 ，數學系教授 B 獲此經費的可能性為 ，而數學系教授 C 獲此經費的可能性為 了。事實上，這筆經費現在在教務長那裡，他認為為了公平起見，工程系獲此資助的可能性為 ，而數學系獲此資助的可能性亦為 。工程系若獲此資助，系主任只會給教授 A，沒有其他的侯選人。但在數學系教授獲資助的前提下，教授 B 獲資助的可能性為 ，而教授 C 獲資助的可能性為 （見圖1-2），這兩種「絕對不確定」和「相對不確定」分析應給出同樣的結果，也就是說，教授 A,B,C 獲此研究費的不確定度， 應當等於教務長將它分給工程系或數學系的不確定度， 加上若是分到數學系，教授 B 或教授 C 得此資助的不確定度 ，但這個不確定度是在此經費分到數學系的前提下。這種可能只有 ，因此  圖1-2 將此分析一般化，我們有下列的條件： (iii) 若某一試驗分解成多個相繼的試驗，則原先的 H 值應為相應的各個 H 值之加權和 (weighted sum)。 下面我們來證明一個重要結論： 定理1-1： 滿足條件(i)、(ii)和(iii)的函數 H 恰好具有形式  其中 K 為某個固定正常數。 證明： 我們分三步來證明此定理。 第一步：記 ，n 為正整數。 斷言