2.6 离散有噪信道中的熵速率与信道容量.ppt

* 第二章 基本信息论 §2.6 离散有噪信道中的熵速率和信道容量 §2.6 离散有噪信道中的熵速率和信道容量 三、离散有噪信道中的接收熵速率 一、离散有噪信道中的接收熵 二、散布度与疑义度 四、离散有噪信道中的信道容量 一、离散有噪信道中的接收熵 各种概率： 信宿 信源 信道 噪声 先验概率 转移概率 后验概率 联合概率 1. 互信息量与平均互信息量(回顾) 一、离散有噪信道中的接收熵 1. 互信息量与平均互信息量(回顾) 平均互信息量表示每收到一个消息所获得的平均信息量。 平均互信息量 互信息量 一、离散有噪信道中的接收熵 2. 接收熵 定义 称平均互信息量 为接收熵。 由 有 关系 一、离散有噪信道中的接收熵 2. 接收熵 利用下面的式子即可证明上述关系 二、散布度与疑义度 0.5 0.5 1.0 1.0 0.25 0.25 0.25 0.25 发出消息 收到消息 而收到的消息中仍然存在不确定成分，即可疑成分。 程度(即疑义度)和分散程度(即散布度)。 最分散(?) 最可疑(?) 当信道中存在噪声干扰时，发送的消息中有些被分散了； 下面引入两个指标从整体上来定量刻画信道的这种可疑 二、散布度与疑义度 1. 散布度 定义 条件熵 称为散布度。 某个 xi 时的散布度。 其中 为具体发出 收到消息 发出消息 0.5 0.5 1.0 1.0 0.25 0.25 0.25 0.25 二、散布度与疑义度 1. 散布度 定义 条件熵 称为散布度。 理解 由于 因此表明 所 假的信息量正是由于噪声干扰导致消息 X 被分散而造 含义 散布度 表示消息 X 后被分散到 Y 的程度。 反映的平均信息量中含有部分“假”的信息量， 成的； 到真正接收到的平均信息量。 而这些 从 中减去这部分信息量 才能得 发出消息 0.5 0.5 1.0 1.0 0.25 0.25 0.25 0.25 收到消息 二、散布度与疑义度 2. 疑义度 定义 条件熵 称为疑义度。 某个 yj 时的可疑度。 其中 为具体收到 发出消息 0.5 0.5 1.0 1.0 0.25 0.25 0.25 0.25 收到消息 二、散布度与疑义度 2. 疑义度 定义 条件熵 称为疑义度。 含义 疑义度 表示收到 Y 后还剩余的对消息 X 的 平均不确定度。 理解 由于 因此 可 收到 Y 后并没有获得消息 X 的全部信息，消息 X 的不 看作由于信道上存在噪声干扰而损失掉的信息量； 确定性并没有完全消除。 即 发出消息 0.5 0.5 1.0 1.0 0.25 0.25 0.25 0.25 收到消息 有一个产生 A、B、C、D 四种消息的信源，其出现的概率 相等。通过某一通信系统传输时, B 和 C 无误; A 以 1/4 的 概率传为 A, 以 1/4 的概率误传为 B、C、D; 而 D 以 1/2 的 概率正确传输, 以 1/2 的概率误传为 C。试求其可疑度？收 到的信号中哪一个最可靠？其散布度为多少？ 解 设 xi 表示分别发出 A、B、C、D； 则已知先验概率与 转移概率如右表： 1/4 1/4 1/4 1/4 p(x) x1 x2 x3 x4 X x1 x2 x3 x4 p( y / x ) 1/4 0 0 0 1/4 1 0 0 1/4 0 1 1/2 1/4 0 0 1/2 y1 y2 y3 y4 yi 表示分别收到 A、B、C、D. P82 2.8 例 首先求其它 几种概率： 联合概率: 后验概率: Y 的概率: 1/16 5/16 7/16 3/16 p(y) y1 y2 y3 y4 Y x1 x2