通信原理(信息).pptx

通信原理;通信原理;Review;Review;Review;Review;单元概述 ;2．1 想知道什么 ——信息;2．1 想知道什么 ——信息;2．1 想知道什么——信息;2．1 想知道什么 ——信息;2．1 想知道什么——信息;2．2 废话有多少信息量;2． 2 废话有多少信息量;2． 2 废话有多少信息量;2．2 废话有多少信息量;2．2 废话有多少信息量;2．2 废话有多少信息量;2．2 废话有多少信息量;2．2 废话有多少信息量;　【例2.1】 试计算二进制符号等概率和多进制(M进制)等概率时每个符号的信息量。 　解：二进制等概率时，即P(1)=P(0)=1/2;　　【例2.2】 试计算二进制符号不等概率时的信息量(设P(1)=P)。  　　解　 P(1)=P， 故P(0)=1-P，则 ;例题;[例题]（顺便引出“信息熵”的概念）;[例题]（顺便引出“信息熵”的概念）;[例题]（顺便引出“信息熵”的概念）;[例题]（顺便引出“信息熵”的概念）;平均信息量;平均信息量;【例2.3】　 设由5个符号组成的信息源， 其相应概率为 ;　【例2.4】 一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。 　解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为 ;出现B的信息量为 ;该信息源总的信息量为 ;实际上，用平均信息量公式直接计算可得 ;通信中要寻求解决的问题; 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵;图 2-1 熵与概率的关系; 对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。 减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。 ;小结;信息对学习通信原理的意义;自测题 ;自测题