信息论基础复习.ppt

第二章 随机过程的信息度量 第三章 数据压缩和信源编码 湘潭大学数学与计算科学学院 上一页 下一页 序论 一、信息论的形成及历史 ——Claude Shannon及其主要贡献 二、通信系统的模型 ——信源、信道、信宿及相互关系 三、信息论的基本研究内容 第一章 随机变量的信息度量 一、信源的分类及数学模型 二、自信息 定义 性质、单位、随机事件的不确定性 三、信源的信息熵 定义： ? 单位——bit、nat、hart、N进信息单位 信息含义（物理意义） 联合熵： ? ? 条件熵： 熵的简单性质： 等号成立的充要条件是X有退化分布． 2、极值性 等号成立的充分必要条件是X服从均匀分布 3、链法则： 二进熵函数： 四、相对熵和互信息 相对熵： 相对熵的非负性： 等号成立的充要条件是 互信息、条件互信息 互信息的简单性质： 1、非负性 2、链法则 3、数据处理不等式 各种熵及互信息的相互关系： 注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。 五、信息量的一些性质 1、凸函数的定义 2、Jensen不等式，对数和不等式 3、D(p||q)是概率分布对(p,q)的凸函数(证明） 4、熵 H (p) 是概率分布p的凹函数(证明) 6、法诺不等式 一、信源和随机过程的基本概念 各种信源的数学模型： 无记忆信源 马尔科夫信源： 平稳分布、转移概率矩阵、香农线图 相互关系 平稳信源 大数定理 二、随机过程的信息度量 平稳信源的极限熵(熵率): 特别 1、无记忆信源： 2、k阶平稳马氏信源： k＝1时： 注：会计算平稳马氏信源的平稳分布及熵率 三、渐近等分性 1、对无记忆信源： 2、弱典型序列： 四、信源编码定理 了解信源编码定理的内容(定理2.4.1) 一、等长码 等长码的概念 码率: 二、变长码 变长码的定义、有限扩张码、唯一可译码、 平均码长 即时码及存在的充要条件 Kraft不等式： 码树、用树图法进行编码 三、编码方法 1、Huffman码 熟练掌握编码方法、了解该方法的特点、优势 和不足 (特别注意补虚元的问题) 2、算术码 掌握香农－法诺编码方法 3、通用信源编码 了解LZ算法、LZW算法的基本原理和具体方法