第4讲Shannon信息论(817KB).ppt

* 因此,实验X与实验Y的联合熵(Joint Entropy)就是事件(xi ,yj )的自信息量的数学期望. 它反映了联合分布p(x, y )包含的信息量. 定义3.2(联合熵): 实验X与实验Y的可能结果分别为 和 ,定义X与Y的联合熵 为 * 定义3.3(条件熵): 实验X与实验Y的可能结果分别为 和 .定义X与Y的条件熵为 (1) 称 为在实验Y的结果为 yj的条件下,事件xi的条件自信息量. 　　为在实验Y的结果为yj的条件下,实验X的条件熵. (2)称 * (3) 称 为在实验X关于实验Y的条件熵. 反映了 Y的结果是yj条件下,实验X包含的信息量. 反映了 Y的结果已知条件下,实验X平均包含的信息量. * 联合熵与各自的熵的关系 定理3.2 且等号成立的 充要条件是X与Y独立. 两个实验提供的信息总量一定不超过这两个实验分别提供的信息量之和;当且仅当两个实验独立时,二者才相等. 直观含义: * 证明 (1) 因 ,故有 下证 . 再由 和 得 * 因 ,故有 即 现分析等号何时成立? * 将上述推理过程中出现≤的地方保留,就是 (1) 存在常数c,使对满足 的i, j,都有 第一个≤变成等号的条件是: 因而有 第二个≤变成等号的条件是: (2) 当 时必有 ,即 * 对所有的i, j 都成立,故有 说明对所有的i, j,都有 即 这就证明了: X与Y独立 现设 成立,则 X与Y独立 证毕 * 联合熵与条件熵的关系 定理3.3 直观含义: 两个实验提供的信息总量等于第一个信息提供的信息量加上在第一个实验的结果已知条件下,第二个实验提供的信息量. * 联合熵与条件熵的关系 定理3.3 证明：由于 故有 同理可证 证毕 * 联合熵与熵的关系 故有 定理3.2指出: 定理3.3指出: 推论3.1 且等号成立 X与Y独立. * 定义3.3(平均互信息): 称 为实验X与实验Y的平均互信息. 结论: 直观的含义：将X包含的未知信息量减去在实验Y的结果已知条件下,X仍具有的未知信息量. 就是实验Y提供的X的信息了. 下节内容 分组密码 * * 现代密码学 解放军信息工程大学电子技术学院 现代密码学 解放军信息工程大学电子技术学院 现代密码学 解放军信息工程大学电子技术学院 王 滨 2004年3月7日 * 香农简介 香农(1916-2001),生于美国密执安州的加洛德。1940年获得麻省理工学院数学博士学位和电子工程硕士学位。1941年他加入了贝尔实验室数学部，在此工作了15年。 * 香农简介 香农在信息论的领域中钻研了8年之久，终于在1949年在《贝尔系统技术杂志》发表了244页的长篇论著---《必威体育官网网址系统的通信理论》。次年，他又在同一杂志上发表了另一篇名著---《噪声下的通信》。 * 香农理论简介 第一篇文章奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代的基本概念：熵。 　　 “熵”的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概率分布的理论给出“熵”的严格定义。 根据香农的定义，确定发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。只有当发生与不发生 的概率相同时，事件的熵才达到极大。 * 香农理论简介 在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通讯的传输速 率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情 况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。 * 香农理论应用 如今，这两个原理已广泛应