[理学]信息论与编码理论基础第三章.ppt

通信系统模型 信源发出的消息序列通常不能直接送给信道传输，需要经过信源编码和信道编码。 信道编码 在传输过程中噪声和干扰在所难免，为了降低差错率，提高传送的可靠性，在信道编码器中可以引入冗余度，在信道解码端就可以利用此冗余度来尽可能地重建输入序列。 可靠性：增加冗余 信源编码 对信源进行压缩、扰乱和加密，用最少的码字最安全地传输最大的信息量： 有效性和安全性：去除冗余 如何对信源进行建模？（如随机过程） 如何测量信源的内容？（熵） 如何表示一个信源？（编码：码字设计） 为什么需要信源编码/数据压缩 数字化视频和音频等媒体信息的数据量很大 为什么需要信源编码/数据压缩 减少存储空间 文件压缩、图像压缩、语音压缩、视频压缩… 减少传输时间 信源编码/数据压缩的例子： 摩尔斯式电码 19世纪中叶，由 Samuel Morse发明 每个字符用“ .” 或“–” 表示 观察：一些字符比另外一些字符出现的频率更高，如 “a, e”比“z, q”出现的频率高 因此，为了减少发送信息的平均时间，用较短的序列表示出现频率高的字符，较长的序列表示出现频率低的字符 e: . , a: . – q: - - . - , j: . - - - 为什么可以进行信源编码/数据压缩 自然界中的大多数数据都是冗余的： 任何非随机选择的数据都有一定结构，可利用这种结构得到数据的更紧致表示 统计冗余：大多数常见的压缩算法都是利用该冗余 字母冗余：英文中字母E最常出现，而Z很少出现 文本冗余：字母Q后常跟有字母U 例：空间冗余 图像中存在大面积部分相似或完全一样的像素 例：时间冗余 视频图像前后几帧的内容变化不大（位置可能不同，可用运动估计方法找到对应位置） 例：结构冗余 图像中物体表面纹理等结构存在冗余 怎样进行信源编码 无失真编码:若要求将信源输出在接收端精确地重现出来，即保证信源输出所携带的信息全部无损地传达给信宿，就要对信源进行无失真编码。 无失真编码只是对信源冗余度进行压缩，并不改变信源熵，它能保证信源序列经无扰信道传输后，得到无失真的恢复。 限定失真编码：在实际传信中，要精确的复制出信源的输出是不可能的，根据信源－信宿对定出的可接收准则或保真度准则，计算要保留多少有关信源输出的信息量，以及如何表示它们，这就是限定失真的信源编码问题。 第三章：信源编码（一）离散信源无失真编码 §3.1 信源及其分类 §3.2 离散无记忆（简单）信源的等长编码 §3.3 离散无记忆（简单）信源的不等长编码 §3.4 最佳不等长编码 §3.1 信源及其分类 信源的概念 :信源就是信息的来源。 §3.1 信源及其分类 离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列 …U-2U-1U0U1U2…， §3.1 信源及其分类 （总结：离散无记忆简单信源就是时间离散、事件离散、各随机变量独立同分布的信源。课程学习所面对的信源将主要是离散无记忆简单信源） 一般的信源 连续信源：有时间连续的信源，也有事件连续的信源； 有记忆信源：信源在不同时刻发出的随机变量相互依赖； 有限记忆信源：在有限时间差内的信源随机变量相互依赖； 非简单信源：信源在不同时刻发出的随机变量具有不同的 概率分布。 马尔可夫信源：信源随机过程是马尔可夫过程。 §3.2 离散无记忆（简单）信源的等长编码 （1）设有一个离散无记忆简单信源，信源发出的随机变量序列为： …U-2U-1U0U1U2…。 设信源随机变量U1的事件有K个：{a1, a2, …, aK}，则L维信源随机向量(U1U2…UL)的事件有KL个： {(u1u2…uL)|其中每个分量ul跑遍{a1, a2, …, aK}}。 P((U1U2…UL)=(u1u2…uL)) =P(U1=u1)P(U2=u2) … P(UL=uL) =P(U1=u1)P(U1=u2) … P(U1=uL) =q(u1)q(u2) … q(uL) （2） D元编码：设有一个含D个字母的字母表，对于(U1U2…UL)的每一个事件(u1u2…uL)，都用一个字母串(c1c2…)来表示。 §3.2 离散无记忆（简单）信源的等长编码 例：离散无记忆简单信源发出的随机变量序列为：…U-2U-1U0U1U2…。其中U1的事件有3个：{晴, 云, 阴}。 (U1U2)有9个事件 {（晴晴），（晴云），（晴阴），（云晴），（云云），（云阴），（阴