[数学]信息论第一章.ppt

第一章随机变量的信息度量 ∵假设汉字字汇是等概率分布 ∴每个汉字出现的概率均为1/10000 每个汉字携带的信息量为 log10000=13.2877 bit/字 广播员口述的1000个汉字所广播的信息量为 1000×13.2877=13287.7 bit 需要的汉字数为 练习2解答 Tianjin Polytechnic University §1.3相对熵和互信息 相对熵 互信息量 相对熵和互信息 Tianjin Polytechnic University 相对熵 相对熵的定义 相对熵定理 相对熵 定义:定义在同一集合 上的两个概率分布 的相对熵为: 规定: Tianjin Polytechnic University 注:相对熵不具有对称性 Tianjin Polytechnic University 相对熵定理: 相对熵 证明:方法一利用 所以 Tianjin Polytechnic University 方法二利用 的严格凸性 相对熵 相对熵 方法三利用对数和不等式 Tianjin Polytechnic University Tianjin Polytechnic University 互信息量 互信息量 互信息量的定义 互信息量的性质 例题 平均互信息量 互信息量的链法则 数据处理定理 信息流通的根本问题，是定量计算信宿收到信道输出的某一符号后，从中获取关于信源某一符号的信息量。若发端的符号是X，而收端的符号是Y，则 就是在接收端收到Ｙ后获得的关于Ｘ的信息，称之为Ｘ和Ｙ的互信息，也就是接收者通过信道传输收到的信源Ｘ的信息量 互信息量 Tianjin Polytechnic University 简单的通信模型 互信息量 Tianjin Polytechnic University 若信源发出符号 由于信道存在干扰 , 收到的不是 而是 ,从 中获取有关 的信息量称为互信息量 互信息量 Tianjin Polytechnic University 信宿所获取的信息量＝ 通信前后不确定性的消除(减少)的量 即 Tianjin Polytechnic University 互信息量 互信息量的定义 定义1: 互信息 收到 前，接收者对 存在的不确定性 －收到 后，接收者对 仍存在的不确定性 ＝收信者收到 前、后，对 存在的不确定性的消除 Tianjin Polytechnic University 互信息量 注:1 如果 的出现使 的出现的可能性变大, 则 反之 ，也有可能为零 2 如果信道中无任何干扰,则 3 互信息量单位 bit Tianjin Polytechnic University 4 互信息量 Tianjin Polytechnic University 互信息量的性质 互信息量的性质 1 对称性: 2 当 和 相互独立时,则互信息量为零 Tianjin Polytechnic University 互信息量计算 已知: 信源符号 的概率 ---先验概率 信源发送 的条件下，信宿接收到 的概率 互信息量计算步骤: 1. 联合概率 2. 全概率 3. 后验概率与先验概率之比 互信息量计算 Tianjin Polytechnic University 例1 某二元通信系统 例题1 ,信源发送 和 的概率分别为 ,信宿 的概率 由于信道中有干扰，当信源发送 信宿接收为1的概率 当信源发送1时，信宿接收为0的概率 信宿接收为1的概率 求互信息量 0时，信宿接收为0 Tianjin Polytechnic University 例题1 解: 1. 联合概率: 2. 全概率 Tianjin Polytechnic University 例题1 3.后验概率与先验概率之比 4.互信息量 ， ， Tianjin Polytechnic University 平均互信息量 平均互信息量 自信息量 熵 互信息量 平均互信息量 定义—两个离散随机事件集合X和Y,若其任意两 事件间的互信息量为 ,则其联合 概率加权的统计平均值,称为两集合的 平均互信息量,记 Tianjin Polytechnic University 平均互信息量的定义 平均互信息量定义:互信息量 在联合概率 空间 中的统计平均值 Y对X的互信息 平均互信息量 Tianjin Polytechnic University X对Y的平均互信息量定义为 平均互信息量的第三种定义为 平