信息论基础复习.pptVIP

湘潭大学数学与计算科学学院上一页下一页湘潭大学数学与计算科学学院上一页下一页序论信息论的形成及历史——ClaudeShannon及其主要贡献通信系统的模型——信源、信道、信宿及相互关系信息论的基本研究内容第一章随机变量的信息度量*信源的分类及数学模型二、自信息*定义01性质、单位、随机事件的不确定性02三、信源的信息熵*定义：?单位——bit、nat、hart、N进信息单位信息含义（物理意义）联合熵：??条件熵：*1熵的简单性质：2等号成立的充要条件是X有退化分布．3极值性4等号成立的充分必要条件是X服从均匀分布3、链法则：*二进熵函数：四、相对熵和互信息*01相对熵：02相对熵的非负性：03等号成立的充要条件是互信息、条件互信息*互信息的简单性质：链法则非负性数据处理不等式注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。各种熵及互信息的相互关系：五、信息量的一些性质*凸函数的定义01Jensen不等式，对数和不等式02D(p||q)是概率分布对(p,q)的凸函数(证明）03熵H(p)是概率分布p的凹函数(证明)04法诺不等式05第二章随机过程的信息度量*一、信源和随机过程的基本概念各种信源的数学模型：无记忆信源马尔科夫信源：平稳分布、转移概率矩阵、香农线图相互关系平稳信源大数定理二、随机过程的信息度量*特别k阶平稳马氏信源：k＝1时：注：会计算平稳马氏信源的平稳分布及熵率无记忆信源：平稳信源的极限熵(熵率):12345三、渐近等分性*对无记忆信源：1弱典型序列：2四、信源编码定理*了解信源编码定理的内容(定理2.4.1)第三章数据压缩和信源编码*码率:等长码等长码的概念二、变长码*即时码及存在的充要条件02Kraft不等式：03变长码的定义、有限扩张码、唯一可译码、平均码长01码树、用树图法进行编码04三、编码方法*010203熟练掌握编码方法、了解该方法的特点、优势和不足1、Huffman码(特别注意补虚元的问题)2、算术码掌握香农－法诺编码方法了解LZ算法、LZW算法的基本原理和具体方法3、通用信源编码第四章数据可靠传输和信道编码*离散信道的数学模型：离散无记忆信道和信道容量01离散无记忆信道容量的定义：信道编码的定义、编码速率、错误概率02几种特殊的信道容量的计算：二进无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道03湘潭大学数学与计算科学学院上一页下一页湘潭大学数学与计算科学学院上一页下一页*