[信息论与编码理论课件及习题答案]第四章.pdf

西安电子科技大学考研专区 联系QQ：1448300060 第四章：信道及其容量 §4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道 §4.7 波形信道 2010-9-24 1 西安电子科技大学考研专区 联系QQ：1448300060 §4.1 信道分类 信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2 ）信道响应特性是条件概率P(输出值为y |输入值为x) ，又称 为转移概率。 （3 ）信道输出是随机过程，输出的概率分布可以由输入的概率 分布和信道的响应特性得到。（全概率公式） （4 ）根据信道输入、信道响应特性、信道输出的情况，可将信 道分类：离散信道（又称为数字信道）；连续信道（又称 为模拟信道）；特殊的连续信道——波形信道；恒参信道 和随参信道；无记忆信道和有记忆信道；等等。 2010-9-24 2 西安电子科技大学考研专区 联系QQ：1448300060 §4.2 离散无记忆信道 定义4.2.1和定义4.2.2(p104) 如果 （1）信道的输入为随机变量序列X , X , X , …，其中每个随机 1 2 3 变量X u 的事件集合都是{0, 1, …, K-1}， （2 ）信道的输出为随机变量序列Y , Y , Y , …，其中每个随机 1 2 3 变量Y 的事件集合都是{0, 1, …, J-1}， u 则称该信道为离散信道。如果更有 （3 ）P((Y Y …Y )=(y y …y )|(X X …X )=(x x …x )) 1 2 N 1 2 N 1 2 N 1 2 N =P(Y =y |X =x )P(Y =y |X =x )…P(Y =y |X =x ) ， 1 1 1 1 2 2 2 2 N N N N 则称该信道为离散无记忆信道（DMC ）。如果更有 （4 ）对任意x ∈{0, 1, …, K-1}，y ∈{0, 1, …, J-1}，任意两个时 刻u和v ，还有P(Y =y |X =x)=P(Y =y |X =x) ， u u v v 则称该信道为离散无记忆平稳信道。 2010-9-24 3 西安电子科技大学考研专区 联系QQ：1448300060 §4.2 离散无记忆信道 关于定义4.2.1和定义4.2.2的注解  “离散”的含义是时间离散，事件离散。即：信道的输入、 输出时刻是离散的，且输入随机变量和输出随机变量都是 离散型的随机变量。  “无记忆”的含义是信道响应没有时间延迟，当时的输出 只依赖于当时的输入。  “平稳”的含义是信道在不同时刻的响应特性是相同的。  “离散无记忆平稳信道”是最简单的信道，信道在某一时 刻u 的响应特性 P(Y =y |X =x