第3章信道及其容量1_31~33课件.ppt

3.3.4 一般离散信道的信道容量 ◆步骤如下： （2）求 Φ 的偏导数并置为零，然后解方程组 解出达到极值时的概率分布 P(ai) 和 λ。 （3）再求解出信道容量 C。因为 3.3.4 一般离散信道的信道容量 ◆表面看，该问题求解完美。 但存在非常大难度，因为很难保证不等式条件。 ◆处理方法：找到满足信道容量时的一些必要条件、 充分条件，或充要条件等。 ◆经推导，可以得到关系式： 并进一步证明如下定理： 定理3.4 一般离散信道的平均互信息 I(X;Y) 达到极大值（即等于信道容量 C）的充要条件是输入概率分布满足 3.3.4 一般离散信道的信道容量 ◆定理 3.4可以用于计算特殊情况下的信道容量。 0.3 0.7 0.7 1/3 1/3 0.3 1/3 a1 a2 a3 b1 b2 b3 例 计算图示离散信道的信道容量。 解 该信道非对称，无法用已有公式计算。 ◆ 考察此信道，信源消息a2以等概率传输， 因此，该符号传输不能高效携带信息， 若信源符号概率P(a2) ≠0，就会增加不确定度。 ◆综合上述分析，考虑信道 传输概率的某种对称性， 设信源概率分布为： ◆然后检查是否满足求解信道容量的充要条件。 3.3.4 一般离散信道的信道容量 ◆根据假设的输入概率分布，容易求得： ◆根据式 计算得 ◆此假设分布满足定理 3.4 的充要条件， 0.3 0.7 0.7 1/3 1/3 0.3 1/3 a1 a2 a3 b1 b2 b3 3.3.4 一般离散信道的信道容量 例 计算图示离散信道的信道容量。 解 该信道非对称，无法用已有公式计算。 ◆ 考察此信道， 1) 由于输入符号 a2 转移到 b1 和 b2 是等概， 所以 a2 可以略去。 2) 而且 a1 与a3,a4 都分别传输到b1 与b2，因此可以只取a1和a3 。 ◆ 假设最佳输入概率分布为 ◆然后检查是否满足求解信道容量的充要条件。 1/2 1/2 1 1 1 a1 a2 a3 a4 b1 b2 3.3.4 一般离散信道的信道容量 1/2 1/2 1 1 1 a1 a2 a3 a4 b1 b2 ◆根据假设的输入概率分布，容易求得： ◆根据式 计算得 ◆此假设分布满足定理 3.4 的充要条件， ◆若再假设最佳输入概率分布为 同理推得，该概率分布也满足定理 3.4 的充要条件。 3.3.4 一般离散信道的信道容量 ◆难于用定理3.4来求信道容量时，可采用求解方程组的方法。 ◆令 可导出方程组 含有 s 个未知数，有 r 个方程的非齐次线性方程组。 ◆如果设 s = r ，且信道转移概率矩阵 P 非奇异，则有解。 ◆求解出 βj，再用公式计算信道容量 ◆再解出信源概率，并判定是否满足非负性。 3.3.4 一般离散信道的信道容量 ◆更一般的求解可以采用计算机迭代算法。 具体迭代算法可以参考有关教材。 ◆关于信道容量的注释 （1）达到信道容量时的最佳输入概率分布不一定是唯一的。 但对称和准对称信道的最佳输入概率分布唯一、等概。 （2）达到信道容量时，输出概率严格为正。 （3）对应于信道容量的输出概率分布是唯一的。 同济大学 电子与信息工程学院 赵晓群 教授 博士导师 Zhao_xiaoqun@tongji.edu.cn 3.2.1 信道疑义度、噪声熵和信息传输率 ◆研究信道，是在固定信道（已知信道转移概率 ）的情况下， 研究信息在信道上的传输问题。 ◆平均互信息 I(X,Y) 是经过通信后收信端接收到的信息量 ◆显然，信道传输的信息量与两种条件熵有关。 引出如下定义。 3.2.1 信道疑义度、噪声熵和信息传输率 定义3.1　称信道输出 Y 条件下，信道输入 X 的条件熵 为信道疑义度，也称为损失熵。 定义3.2　称信道输入 X 条件下，信道输出 Y 的条件熵 为噪声熵。 ◆信道疑义度和噪声熵的存在，均源自于信道干扰。 两者从不同的角度衡量了干扰对信息传输的影响。 3.2.1 信道疑义度、噪声熵和信息传输率 定义3.3　 信道的信息传输率 R 就是平均互信息，表达式为 若信道平均传输一个符号为 t 秒，则信道每秒钟平均传输的信息量，即信息传输速率 Rt 为 ◆ R 的单位是“信息