信息论第四专题.ppt

7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 *7.3信息率失真函数的参量表述及其计算 7.4二元信源和离散对称信源的R(D)函数 *7.5 连续信源的信息率失真函数 7.6保真度准则下的信源编码定理 7.7联合有失真信源信道编码定理 7.8限失真信源编码定理的实用意义 8.1香农编码 8.2费诺编码 8.3霍夫曼编码 8.4实用的编码方法 信源编码的基本途径有两个: 一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码. 二是使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法主要是统计编码. 由于信源编码可以不考虑抗干扰问题，所以它的数学模型比较简单。下图为一个编码器模型: 输入是信源符号集: x为编码器所用的编码符号集，包含r个元素{ }，称为码符号(码元) . 由码符号 组成的输出序列 称为码字. 其长度 称为码字长度或码长，全体码字 的集合C称为码或码书 . 编码器将信源符号集中的信源符号 （或长为N的信源符号序列 ）变成由码符号组成的长为 的与信源符号一一对应的输出序列。即 : 解决方法： 考察：字母个数为n，字母出现非等概，且字母之间相关长度为L的英文信源，其可能的字母序列总数为 ；但其中大部分字母序列是无意义的字母组合，而且随着L的增加，这种无意义序列的总数越来越大。 方法：进行联合编码，即对字母序列编码，且只对哪些有意义的字母序列编码，即需编码的字母序列的总数 ,则平均每个信源符号所需的码符号个数可以大大减少，从而提高了传输效率。 问题：会引入一定的误差，当L足够长后，误差可以任意小。 *5.3 渐进等分割性和典型序列 证明： 证明 AEP结论：当N足够大时， 所有 典型序列出现的概率近似相等，即 典型序列为渐进等概序列 可粗略认为 典型序列出现的概率为 所有 典型序列的概率和接近为1，即 AEP应用： 提出、证明都是基于离散无记忆序列信源 平稳遍历信源有类似结果 体现信源统计特性 用以证明定长编码定理 （1）定长码编码速率 定长码编码速率定义为 (比特/信源符号) 它表示编码后，一 个信源符号平均所携带的最大信 息量， 也可以理解为传送一个信源符号平均所需的 比特数。压缩码率实际就是减小编码速率。 （2） 编码效率 编码效率定义为： 其中，NH(S) 表示 N 长 信 源 序列的所包含的信息量，而llogr表示码序列所能携带的最大信息量。由定理4.3可知，对于定长无失真编码 总 是小于1的，当 N 足够大时， 可以接近于1。并可以看出，当 减小时， 增加。所以压缩码率和提高编码效率是同样的含义。 （3）信息传输速率 信息传输速率定义为，每个传输符号所含信息量。 信源经信源编码后的信息传输速率为 （比特/码符号） 由编码效率定义和信息传输率可得 很明显，对于二进编码，编码效率与信息传输速率 数值相同。 （4）无失真信源信源编码的另一种表述： 如果编码速率 ，则存在无失真编码. 反之，肯定有失真。实际上， 与定理4.3具有相同的含义。 4.实际应用问题 编译码同步问题 问题：如何使译码端知道码字起点 解决办法：1、每个码字加短同步前缀 2、每若干码字加较长同步前缀 分组长度与编译码复杂性、编译码延时等等关系 问题：要实现有效，源序列分组很长，使得编译码 复杂性和延时增加 解决办法：目前没有理想到解决办法 定长信源编码的理论意义远大于其实用价值 码树中自树根经过一个分枝到达一阶节点，一阶节点最多为r个，二阶节点的可能个数为r2个，n阶节点最多有rn个，若将从每个节点发出的个分枝分别标以0，1，…，r-1，则每个n阶节点需要用n个r元数字表示。如果指定某个n阶节点为终端节点，用于表示一个信源符号，则该节点就不再延伸，相应的码字即为从树根到此端点的分枝标号序列，该序列长度为n，用这种方法构造的码满足即时码的条件，因为从树根到每一个终端