信息论基础离散信道及其信道容量.pptVIP

05-06学期上 Elements of Information Theory 信息论Elements ofInformation Theory 蒋青 jiangq@cqupt.edu.cn TEL3离散信道及其信道容量 3.1 信道的数字模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5信道容量的迭代算法 3.6离散无记忆扩展信道及其信道容量 3.7独立并联信道及其信道容量 3离散信道及其信道容量 3.8 串联信道的互信息和数据处理定理 3.9信源与信道的匹配 3.1 信道的数字模型及分类 在信息论中，信道中指信息传输的通道。它是信息论中与信源并列的另一个主要研究对象。 典型例子： 实际通信中物理通道：电缆、光纤、电波传布空间、载波线路等； 在时间上将信息进行传输的信道：磁带、光盘等； 为了某种目的而使信息不得不经过的通道：分类器、缓冲器等。 信道分类 根据信道的用户多少： 两端(单用户)信道 ■ 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 ■ 反馈信道 根据信道的参数与时间的关系： 固定参数信道 ■ 时变参数信道 根据输入和输出信号的特点： (表2.2) 表2.2 信道按其输入／输出之间关系的记忆性来划分： 有记忆信道 无记忆信道 信道按其输入／输出信号之间的关系是否是确定关系来划分： 有噪声信道 无噪声信道 本章我们只讨论无反馈、固定参数的单用户无扰和有扰离散信道。 信道模型 信息论不研究信道传输特性的获得问题，而假定传输特性是已经知道的，并在此基础上研究信道的传输问题。 离散信道的数学模型 根据信道的统计特性即条件概率的不同，离散信道又可分成如下几种情况 无干扰(无噪)信道： 有噪信道： 不是0，1分布，称 为有噪信道 单符号离散信道的数学模型 用图描述: 可以用概率空间 描述，其中 称为信道的(前向)转移概率. 信道的转移概率： 信道的(前向)转移概率矩阵： 记 则信道传递矩阵为 该矩阵又称信道矩阵，可作为单符号离散信道的另一种数学模型的形式。 几个重要的单符号离散信道 对称离散信道：信道矩阵中的行元素集合相同，列元素集合也相同的信道，称为对称信道。  例：二元对称信道Binary Symmetric Channel (BSC) 几个重要的单符号离散信道 准对称信道：若信道转移矩阵按列可以划分成几个互不相交的子集合，而每个子矩阵（由子集所对应的信道转移矩阵中的列所组成）具有下述性质： （1）?? 每一行都是第一行的一种排列 （2）?? 每一列都是第一列的一种排列 几个重要的单符号离散信道 强对称信道（均匀信道） 几个重要的单符号离散信道 二进制删除信道（Binary Erasure Channel,简称BEC） “删除”是指在信宿中，见“e”就删去，既不作“1”，也不作“0” 例：二元删除信道Binary Erasure Channel (BEC) 单符号离散信道的一些概率关系 对于信道[ X, P, Y ]， 输入和输出符号的联合概率 根据联合概率可得输出符号的概率 其矩阵形式： 根据贝叶斯定律可得后验概率 3.2平均互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关系后，我们将深入研究在此信道中信息传输的问题 信道疑义度（损失熵） 信道输入信源 X 的熵（先验熵）： 是在接收输出 Y 以前，关于输入变量 X 先验不确定性的度量，所以称为先验熵。 接收到输出符号bj后关于X的后验熵： 当没有收到输出Y 时，已知输入变量X 的概率分布为P(x)；而当接收到输出符号y=bj 后，输入符号的概率分布发生了变化，变成后验概率P(x|bj )。那么，接收到输出符号y=bj 后，关于X的平均不确定性为 后验熵在输出Y 的取值范围内是个随机量，将后验熵对随机变量Y 求期望，得条件熵为（即信道疑义度） 信道疑义度的物理含义：信道疑义度表示在输出端收到输出变量Y全部符号后，对于输入端的变量X尚存在的平均不确定性（存在疑义）。这个对X尚存在的不确定性是由于干扰（噪声）引起的，它表示信源符号通过有噪信道传输后所引起的信息量的损失，故也称为损失熵。 噪声熵 定义条件熵H（Y/X）为该信道的噪声熵。 噪声熵H（Y/X）表示在已知输入变量X的条件下，对随机变量Y尚存在的不确定性。噪声熵完全是由于信道中噪