息及其度量.ppt

. 第1章 绪论 1.4 信息及其度量 信息：是消息中包含的有效内容 如何度量离散消息中所含的信息量? 度量信息量的原则 能度量任何消息，并与消息的种类无关。 度量方法应该与消息的重要程度无关。 消息中所含信息量和消息内容的不确定性有关 【例】 1.《儒林外史》中范进中举后发疯 2.今天下雨 上例表明： 消息所表达的事件越不可能发生，信息量就越大。 * 第1章 绪论 度量信息量的方法 事件的不确定程度可以用其出现的概率来描述： 消息出现的概率越小，则消息中包含的信息量就越大。 设：P(x) － 消息发生的概率， I － 消息中所含的信息量， 则 P(x) 和 I 之间应该有如下关系： I 是 P(x) 的函数： I ＝I [P(x)] P(x) ?，I ? ； P(x) ? ，I ?； P(x) = 1时，I ＝ 0； P(x) = 0时，I ＝ ?； 满足上述3条件的关系式如下： －信息量的定义 * 第1章 绪论 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) ，可简记为b 若a = e，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特莱(Hartley) 。 通常广泛使用的单位为比特，这时有 【例】 设一个二进制离散信源，以相等的概率发送数字“0”或“1”，则信源每个输出的信息含量为 在工程应用中，习惯把一个二进制码元称作1比特 * 第1章 绪论 若有M个等概率波形（P = 1/M），且每一个波形的出现是独立的，则传送M进制波形之一的信息量为 若M是2的整幂次，即 M = 2k，则有 当M = 4时，即4进制波形，I = 2比特， 当M = 8时，即8进制波形，I = 3比特。 * 第1章 绪论 对于非等概率情况 设：一个离散信源是由M个符号组成的集合，其中每个符号xi (i = 1, 2, 3, …, M)按一定的概率P(xi)独立出现，即 且有 则x1 , x2, x3,…, xM 所包含的信息量分别为 于是，每个符号所含平均信息量为 由于H(x)同热力学中的熵形式相似，故称它为信息源的熵 * 第1章 绪论 【例1】 一离散信源由“0”，“1”，“2”，“3”四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息2010201302130 01203210100321010023102002010312032100120210的信息量。 【解】此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量 每个符号的算术平均信息量为 * 第1章 绪论 若用熵的概念来计算： 则该消息的信息量  以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算数平均的方法，结果可能存在误差。这种误差将随着消息序列中符号数的增加而减小。 当消息序列较长时，用熵的概念计算更为方便。 * 第1章 绪论 连续消息的信息量 关于连续消息的信息量可以用概率密度函数来描述。可以证明，连续消息的平均信息量为 式中，f (x) － 连续消息出现的概率密度。 * 第1章 绪论 1.5 通信系统主要性能指标 通信系统的主要性能指标：有效性和可靠性 有效性：指传输一定信息量时所占用的信道资源（频带宽度和时间间隔），或者说是传输的“速度”问题。 可靠性：指接收信息的准确程度，也就是传输的“质量”问题。 模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端最终输出信噪比来度量。 * 第1章 绪论 数字通信系统 有效性：用传输速率和频带利用率来衡量。 码元传输速率RB：定义为单位时间（每秒）传送码元的数目，单位为波特（Baud），简记为B。 式中T － 码元的持续时间（秒） 信息传输速率Rb：定义为单位时间内传递的平均信息量或比特数，单位为比特/秒，简记为 b/s ，或bps * 第1章 绪论 码元速率和信息速率的关系 或 对于二进制数字信号：M = 2，码元速率和信息速率在数量上相等。 对于多进制，例如在八进制（M = 8）中，若码元速率为1200 B，，则信息速率为3600 b/s。 * 第1章 绪论 频带利用率：定义为单位带宽（1赫兹）内的传输速率，即 或 可靠性：常用误码率和误信率表示。 误码率 误信率，又称误比特率 在二进制中有 * .