信息论与编码结业论文..doc

信息论与编码论文 之信源编码 Sylvia 通过对信息论与编码这门课程的学习，我了解到，通信的根本问题是将信源的输出在接收端精确地或近似地重现出来。为此需要解决两个问题。一是信源的输出应如何描述，即如何计算它产生的信息量。另一个是如何表达信源的输出，即信源编码的问题。这两个问题都与信宿对通信质量的要求有关。若要求精确的地重现信源的输出，就要保证信源产生的全部信息无损地递送给信宿，这时的信源编码就是无失真源编码。 在很多实际情况下，人们并不要求完全精确地复制出信源的输出，而且在有干扰情况下传输时，要精确地复制信源的输出也是不可能的。不同的信宿对精确度的要求是不同的，例如在电话通信中，有的只要求可懂度足够高就满意了，而有的如广播系统则要求语调和音色也要好，即还要求有足够高的清晰度才行。图像通信中，军用电视和传真电报只传送地图、公文等，而电视广播是为了欣赏而要求更高的质量。一般一对信源-信宿要定出可接收准则或保真度准则。准则定了之后，就可以计算为达到这一要求至少要保留多少有关信源输出的信息量，以及如何表达它们。这就是限定失真的信源编码问题。 1．信源及其分类 信源就是信息的发源地，可以是人、生物、机器或其他事物。信源的具体输出称作消息，它或为离散的符号形式，如人写出的书信，文稿、计算机输出的代码等；或为连续的信号，如人发出的语音、遥感器测得的连续数据等。前者被称作离散信源，后者称为连续信源，相应的输出称作离散消息和连续消息。 由信息量的定义知道，信息中之所以含有信息是由于信源的产生消息的随机性。为此，要研究信源产生信息的大小，必须先研究信源的统计特性。 离散信源的输出可用符号序列 …U-2 U-1 ,U0, U1 U2,… 表示，其中Ul表示在第l时刻产生的符号，l为整数。Ut为一随机变量，它在有限字母A={a,…，ak}中选取。这里假定信源匀速地产生符号，若各Ul彼此统计独立，相应信源就称无记忆信源，否则称为有记忆信源。 实际中信源常常是有记忆的，很少能用简单的概率空间来表述。对于有记忆的信源，需要用联合概率空间描述，信源输出可用随机序列或L维随机矢量UL=(u1,u2，…，uL) ∈Ul 表示，L为正整数。概率分布P(uL =a)=P{（u1,u 2,…uL）=（ak1,,ak2,…，akL）}，其中kl∈(l,K)。 连续信源的输出是连续随机变量或连续随机过程。前者称作时间离散的连续源，其输出为连续随机变量序列…U-1，U0，U1… 其中每个随机变量Ul的取值为一连续区间，如(a,b）即x∈A(a,b),其中a和b为实数，且b＞a。连续随机变量的概率密度以p（u）表示，若信源是有记忆的，就用连续随机矢量及相应的联合概率密度表示。 若信源输出在时间上也是连续的，则用随机过程U（t）描述，称作随机波形源。一个在时间上或频率上为有限的随机过程可以展开成为分量取值为连续的随机矢量表示，一个时间上连续的信源就被化为离散信源了。 若信源输出既有连续分量，又有离散分量时，就称为混合信源。 2. 等长码与等长信源编码定理 设有一个离散无记忆信源，以DMS表示，其字母表为A={a1,a2,…，aK},各字母的概率为P1，Ｐ２，…，Ｐｋ，且概率和为１。长为Ｌ的信源输出序列ｕＬ＝（ｕ１，ｕ２，…ｕＬ）有Ｋ的ｌ次幂种不同的排列。所谓编码，就是从消息集到码字集上的一种映射。等长码与等长信源编码定理一般说来，若要实现无失真的编码，不但要求信源符号si (i＝1,2,…,q)与码字Wi (i＝1，2，…，q )是一一对应的，而且要求码符号序列的反变换也是惟一的。也就是说，所编的码必须是惟一可译码。如果所编的码不具有惟一可译码性，就会引起译码错误与失真。对于等长码来说，若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。因此等长非奇异码一定是惟一可译码。如果对信源S 的N次扩展信源进行等长编码。设信源S={s0,s1,…,sq}，有q个符号，那么它的N次扩展信源共有qN个符号。又设码符号集为X＝[x0,x1,…,xr]。现在需要把这些长为N的信源符号序列ai (i＝1,2,..., qN)变换成长度为l的码符号序列Wi。 对于任意给定的ε＞0，只要满足条件 N/M≥(H(U)+ε)/logL 那么,当M足够大时,上述编码几乎没有失真;反之,若这个条件不满足，就不可能实现无失真的编码。式中H(U) 是信源输出序列的符号熵。离散无记忆信源的变长编码定理（仙农第一定理）具体实现唯一可译变长编码的方法很多，但比较经典的方法还是仙农编码法、费诺编码法和霍夫曼编码法。其他方法都是这些经典方法的变形和