数字通信技术 信息量计算 信息量计算.ppt

Digital communication technology 《数字通信技术》课程 主讲教师 刘俊 移动通信技术专业教学资源库 深圳信息职业技术学院电子与通信学院 信息量计算 目录 01 信息与消息 02 信息的度量 03 信源熵 1.信息与消息 EDITED BY LIUJUN * 数字通信技术 信息是通信传递的实质内容，为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测量 信息通过消息表现，消息通常以语言、文字、图像、符号呈现 信息通过消息出现的概率进行度量 消息的出现是随机的、无法预知的；不同形式的消息可以包含相同的信息，如分别用语音和文字发送的天气预报 消息可以分为两类，即离散消息和连续消息；产生离散消息的信源称为离散信源，产生连续消息的信源称为连续信源 2.信息的度量 EDITED BY LIUJUN * 数字通信技术 度量信息量的原则 能度量任何消息，并与消息的种类无关 度量方法应该与消息的重要程度无关 消息中所含信息量和消息内容的不确定性有关 度量信息量的方法 消息中所含信息量I是消息出现的概率P(x)的函数 事件的不确定程度可以用其出现的概率来描述 消息出现的概率越小，则消息中包含的信息量就越大；反之亦然 若干个互相独立事件构成的消息， 所含信息量等于各独立事件信息量的和 I为消息x所携带的信息量 P(x)为该消息发生的概率 信息量的单位： 对数底为2 → 比特(bit) 对数底为e → 奈特(nit) 对数底为10 → 哈莱特(十进制单位) 2.信息的度量——例子 EDITED BY LIUJUN * 数字通信技术 【例1】 设一个二进制离散信源，以相等的概率发送数字“0”或“1”，则信源每个输出的信息含量为 【例2】已知二元离散信源只有“0”、“1”两种符号，若“0”出现的概率为3/4，求出现“1”的信息量是多少？ 3.信源熵 EDITED BY LIUJUN * 数字通信技术 当消息很长时，用符号出现的概率来计算消息的信息量是比较麻烦的，一般改用平均信息量来度量 所谓平均信息量，指每个符号所含信息量的统计平均值。N个符号的离散消息源的平均信息量为： 上述平均信息量计算公式与热力学和统计力学中的系统熵的公式一样，因此将它称为信源的熵 3.信源熵——例子 EDITED BY LIUJUN * 数字通信技术 【例3】一离散信源由“0”，“1”，“2”，“3”四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息2010201302130 01203210100321010023102002010312032100120210的信息量。 【解】此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量 信息熵计算： 则该消息的信息量： 小结 EDITED BY LIUJUN * 数字通信技术 信息度量有何意义？ 信息度量需要考虑哪些方面？ 信源熵是指什么？ 谢 谢 主讲教师 刘俊 移动通信技术专业教学资源库 深圳信息职业技术学院电子与通信学院 *