信息论总复习课件1.pptVIP

第一章 绪论第二章 离散信源及其信息测度第三章 离散信道及其信道容量第五章 无失真信源编码定理第八章 无失真信源编码第六章 有噪信道编码第九章 信道的纠错编码第七章 保真度准则下的信源编码 * * 第一章 绪论 1、信息的特征：不确定性和可度量性 2、自信息的定义 3、互信息的定义 4、通信系统的研究对象 信 源 编码器 信 道 译码器 噪声源 信 宿 消息 信号 干扰 消息 第二章离散信源及其信息测度 1、单符号离散信源的信息熵 2、信息熵的性质 3、离散无记忆信源的扩展信源信息熵 4、二维离散平稳信源的信息熵 5、离散平稳信源的信息熵 6、性质 (1)条件熵 随N非递增； (2)N给定时，平均符号熵 条件熵； (3)平均符号熵 随N非递增； (4)当 时 称 为平稳信源的极限熵或熵率。 第三章离散信道及其信道容量 1、单符号离散信道的数学模型 a1 b1 a2 b2 ar bs 可求出： 已知 输入概率 信道矩阵 (1) 联合概率 (2) 输出符号概率 (3) 后向概率 2、平均互信息 损失熵 —— 信道疑义度H（X|Y） 噪声熵 —— 散布度 H(Y|X） 联合熵 —— H（XY） 维拉图表示熵的公式 3、信道容量 （3）对称离散信道容量 （4）准对称离散信道容量 第五章无失真信源编码定理 1、等长信源编码定理 ： 一个离散无记忆信源，熵为 ，信源长为N，码符号 r个，码字 长，对于任意 ，只要满足 则当N足够大时，可实现几乎无失真编码。即译码错误概率能为任意小。 反之，若 则不能实现无失真编码，而当N足够大时，译码错误概率近似等于1。 2、变长信源编码定理 香农第一定理信源 的熵为 ， r个码元，可构成唯一可译码，使信源S中每个信源符号所需的平均码长满足 或写成 3、几个概念 编码信息率 信道的信息传输率R 编码效率 码的剩余度 第八章无失真信源编码算法 香农编码、香农-范诺编码、霍夫曼编码 第6章 有噪信道编码定理 1、最小错误率译码准则 2、最大似然译码准则 选择译码函数 且满足条件: 则选择译码函数 的条件应满足 3、有噪信道编码定理 定理6.4 （有噪信道编码定理） 设离散无记忆信道 ， 为其信道传递概率，其信道容量为C。当信息传输率RC 时；只要码长n足够长，总可以在输入符号集中找到 个码字组成的一组码 和相应的译码规则，使译码的错误概率任意小 。 3、有噪信道编码定理 设离散无记忆信道 , 其信道容量为C。当信息传输率 RC , 则无论码长n多长，总也找不到一种编码 ，使译码错误概率任意小。 定理6.5 有噪信道编码逆定理