第三章信道及信道容量.ppt

1《信息论与编码》第3章信道和信道容量

2《信息论与编码》主要内容3.1信道的基本概念3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量3.5信源与信道的匹配

3《信息论与编码》3.1信道分类和表示参数重点：信道矩阵

4《信息论与编码》信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计关系来研究信道。一、信道的分类1、根据用户数量分为① 单用户信道：只有一个输入端和一个输出端，信息单向传输。② 多用户信道：输入端和输出端至少有一方存在两个以上的用户，信息双向传输。2、根据信道输入端和输出端的关系分为① 无反馈信道：输出端对输入端没有影响。② 反馈信道：输出信号通过一定的途径反馈到输入端，致使输入端信号发生变化。

5《信息论与编码》3、根据信道参数与时间的关系分为① 固定参数信道：信道参数（统计特性）不随时间的变化而变化。例如光纤、电缆等信道。② 时变参数信道：信道参数随时间变化而变化。例如无线信道。4、根据信道中所受噪声种类的不同分为① 随机差错信道：噪声独立随机地影响每个传输码元。例如以白噪声为主体的信道。② 突发差错信道：干扰的影响是前后相关的，错误成串出现。例如衰落信道、码间干扰信道。

6《信息论与编码》5、根据信道参数与时间的关系分为①离散信道：输入输出信号在时间、幅度上均为离散。②连续信道：信号幅度连续、时间离散。③半离散半连续信道：输入输出信号中一个离散、一个连续。④波形信道：在时间和幅度上均连续，一般可以用随机过程来表示。限时限频的随机过程可以分解为离散的随机序列，所以波形信道可以被分解为离散信道、连续信道和半离散半连续信道。

7《信息论与编码》二、离散信道的信道参数1、基本离散信道（单符号离散信道）输入输出信号都是取值离散的单个随机变量，可用

信道转移概率来描述。其中并满足：信道转移概率：条件概率其中,ai为信道输入，bj为信道输出。

8《信息论与编码》单符号离散信道可以用图形描述如下

9《信息论与编码》信道矩阵的每一行之和必定等于1。

10《信息论与编码》2、一般离散信道（多维离散信道）输入输出信号都是平稳随机矢量，其数学模型可用概率空间[X，p(Y/X)，Y]来描述。其中为输入信号，为输出信号。X中Y中其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计依赖关系。根据信道是否存在干扰以及有无记忆，将信道分为：1）无干扰（噪声）信道：2）有干扰无记忆信道：3）有干扰有记忆信道：

11《信息论与编码》1）无干扰（噪声）信道：已知信道输入X就知道信道输出Y。①无噪无损信道： 疑义度H（X/Y）=0，噪声熵H（Y/X）=0②无噪有损信道： 疑义度H（X/Y）〉0，噪声熵H（Y/X）=0③有噪无损信道（严格意义上，不能称为无噪声信道）： 疑义度H（X/Y）=0，噪声熵H（Y/X）〉0

12《信息论与编码》①无噪无损信道：输入输出一一对应，信道矩阵为单位阵．

13《信息论与编码》②无噪有损信道（确定信道）：H（X/Y）0，H（Y/X）=0信道输出端接收到某个bj后不能判定是哪个输入符号aj

14《信息论与编码》③有噪无损信道：H（X/Y）=0，H（Y/X）〉0

15《信息论与编码》2）有干扰无记忆信道：每个信道输出只与当前输入信号之间有转移概率关系，而与其它时刻的输入输出信号无关。这种情况下，不需要矢量形式，只要分析单个符号的转移概率p(yi/xi)即可。①离散无记忆信道（DMC）②二进制对称信道（BSC）

16《信息论与编码》①离散无记忆信道(DMC)：输入和输出信号的符号数大于2但为有限值,即,②二进制对称信道（BSC）：输入和输出信号的符号数都是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。

17《信息论与编码》3）有干扰有记忆信道：每个信道输出不但与当前输入信号之间有转移概率关系，而且与其它时刻的输入输出信号也有关。在实际的数字信道中，当信道特性不理想，存在码间干扰时，输出信号不但与当前的输入信号有关，还与以前的输入信号有关。常用的处理方法有两种：①将记忆很强的L个符号当作矢量符号，各矢量符号之间认为无记忆。这时会引入误差，L越大，误差越小。②将转移概率