第六章 最大熵原理及应用_单页_887101824.pdf

应用信息论基础 Fundamentals of Applied Information Theory 清华大学深圳研究生院 2013 年2 月-6月 第六章 最大熵原理及应用 Chapter 6 Principle of Maximum Entropy and Applications 最大熵原理及应用 2 学习要点 • 最大熵原理及应用 ①熵的概念与性质 ②最大熵原理 ③最小鉴别信息原理 ④ 二者之间的联系 ⑤最大熵原理的应用 最大熵原理及应用 3 课程结构 • 6.1 基本概念 • 6.2 最大熵原理的由来 • 6.3 最大熵原理 • 6.4 最小鉴别信息原理 • 6.5 最大熵原理的应用 最大熵原理及应用 4 6.1 基本概念 最大熵原理及应用 5 熵 • 物理学概念 Rudolf Clausius Ludwig Boltzmann – 热力学(thermodynamic) German Physicist Austrian Physicist 1822.1.2~1888.8.24 1844.2.20~1906.9.5 • 体系的熵变等于可逆过程吸收或者耗散的热量除以 它的绝对温度—— 热力学定律 (Calusius@1865) – 统计力学(statistical mechanics) • 熵是大量微观粒子的位置和速度分布概率的函数， 是描述 系统大量微观粒子无序性的宏观参数 (Boltzmann@1887) 最大熵原理及应用 6 熵 • 物理学概念 John von Neumann Claude Elwood Shannon – 量子力学(quantum mechanics) US Mathematics CS US Mathematics EE 1903.12.28~1957.2.8 1916.4.30~2001.2.24 • 度量系统 中量子的纠缠，也叫冯 ·诺依曼熵 (Neumann@1932) • 信息学概念 – 信息熵 • 度量不确定性，不确定度越大，熵值越大 • 它代表了在被接收之前，信号传输过程中损失的信 息量，又被称为信息熵、香农熵 (Shannon@1948) 最大熵原理及应用 7 熵 • 其它领域 – 数