[理学]6信息论与编码课件20120328.ppt

§3.1 信道的数学模型和分类 §3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法 §3.2.1 信道容量的定义 §3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法 §3.2.2 几种特殊离散信道的容量 一、离散无噪信道 1、一一对应的无噪信道 §3.2 单符号离散信道 §3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法 §3.3.1 多符号离散信道的数学模型 §3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量 §3.5 信道编码定理 §3.2.3 离散信道容量的一般计算方法 对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布p(xi)，求平均 互信息的极大值。采用拉各朗日乘子法来计算。 (1) 两边乘P(xi)，并求和，则有： (2) 将（2）代入（1），则有： （3） （4） （5） （6） （7） （8） （9） 总结C的求法，过程如下： 例：信道矩阵如下，求C。 1 2 3 4 §3.1 信道的数学模型和分类 §3.2 单符号离散信道 §3.3 多符号离散信道 §3.4 多用户信道 §3.5 信道编码定理 §3.3 多符号离散信道 §3.3.1 多符号离散信道的数学模型 §3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量 多符号离散信道 多符号信源通过离散信道传输形成多符号离散信道。 输入 输出 §3.3 多符号离散信道 §3.3.1 多符号离散信道的数学模型 §3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量 无记忆：YK仅与XK有关 (a) §3.1 信道的数学模型和分类 §3.2 单符号离散信道 §3.3 多符号离散信道 §3.4 连续信道 * * 第一章：概述 第二章：信源熵 第三章：信道容量 第四章：信息率失真函数 第五章：信源编码 §3.1 信道的数学模型和分类 §3.2 单符号离散信道 §3.3 多符号离散信道 §3.4 多用户信道 §3.5 信道编码定理 P(Y/X) x Y 信道的数学模型： 信道的分类 无干扰信道 有干扰信道 信道的分类 有记忆信道 无记忆信道 信道的分类 单符号 信道 多符号信道 信道的分类 单用户信道 多用户信道 信道的分类 连续信道 半离散信道 离散信道 P(yi/xi) x Y i=1,2,…,n j=1,2,…,m 信道转移概率矩阵：（见下页） 信道容量 xn yn x1 y1 x2 y2 …… x1 y1 x2 y2 xn-1 yn-1 xn yn …… X、Y一一对应 C＝maxI(X;Y)＝log n x1 y1 y2 y3 x2 y4 y5 y6 x3 y7 y8 2、具有扩展功能的有噪无损信道 此时，H(X/Y)=0，H(Y/X) 0，且H(X) H(Y)。 此时，C = max H(X) = log n P(xi) 一个输入对应多个输出 3、具有归并性的无噪有损信道 x1 y1 x2 x3 y2 x4 x5 y3 C = max H(Y) = log m P(yi) H(X/Y) ≠ 0，H(Y/X) = 0 多个输入变成一个输出 二、强对称(均匀)离散信道的信道容量 n X n p：总体错误概率 相应的 二进制均匀信道容量C＝1－H（p）,其中 H(p)=-(1-p)log(1-p)-plogp，p为信道参数 二进制均匀信道容量曲线 三、对称离散信道的