第4章 离散信道及其信道容量.ppt

二进制删除信道的信道容量 的信道容量及达到信道容量时的信源概率分布。 例4 行可排列 不存在P，列不可排列。 按列分成两个不相交的子集后，两个子集构成的子信道矩阵 都列可排列，该信道为准对称信道。 当信源概率分布 信道容量 四、 N维离散无记忆信道及其信道容量 1、多符号离散信道与N维离散无记忆信道 对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道，其信道矩阵 当信源和信宿均N维平稳无记忆时，信道矩阵中的转移概率 信道矩阵表示的多符号离散信道为N维离散无记忆信道DMC。 N维离散无记忆信道相当于单符号离散信道扩展N次，也称为N次扩展信道。 2、N维离散无记忆信道的信道容量 BSC的信道矩阵 二次扩展信道的信道矩阵 二次扩展信道的信道矩阵和信道容量。 例5 二次扩展信道的信道容量 习题：(P99-101) 3.1、3.2、3.7、3.15 该结论可以推广到多级级联信道。 数据处理不能将信息量增大！ 7、信道容量 信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使通过信道的平均互信息量达到最大。 定义 信道转移概率分布P(Y/X)不变时平均互信息量的最大值为该信道的信道容量，用C表示。 表示 8、信道容量的计算步骤 信道容量的计算步骤 Z信道 的信道容量C及达到信道容量 时的信源概率分布P(X)。 例1 二、对称信道及其信道容量 1、对称信道 矩阵中每一行都是集合　　　　　　　中各元素的不同排列，该矩阵行可排列；每一列都是集合 　　　　　　中各元素的不同排列，该矩阵列可排列。 信道矩阵既行可排列，又列可排列，该矩阵所表示的单符号离散信道为对称信道。 定义 对称信道中，当mn时，P是Q的子集；当m=n时，P =Q。 例1 判断下列信道矩阵所表示的信道是否为对称信道？ ? 行可排列 列可排列 行可排列 不存在P，列不可排列 × 2、对称信道的信道容量 m=n=2时的对称信道称为二进制对称信道BSC，一般记为 对称信道行可排列，不失一般性，设对称信道的信道矩阵为 根据信道容量的计算步骤 对称信道列可排列，不失一般性，列出 对称信道的信道容量 BSC的信道容量 例2 信道　　　　　　　　　　的信道容量及达到信道 容量时的信源概率分布。 信道矩阵既行可排列，又列可排列，该矩阵所表示的信道为对称信道。 信源概率分布 信道容量为 三、准对称信道及其信道容量 信道矩阵行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的各子信道矩阵都列可排列，该矩阵所表示的单符号离散信道为准对称信道。 信道矩阵 定义 1、准对称信道 行可排列 不存在P，列不可排列 按列分成两个不相交的子集后，两个子集构成的子矩阵 都列可排列，该信道为准对称信道。 二进制删除信道是准对称信道，二进制删除信道一般记为 准对称信道行可排列 2、准对称信道的信道容量 按列分为s个不相交的子集，各子集构成的各子信道矩阵都列可排列，各子信道矩阵相当于对称信道 不失一般性，设第一个子矩阵由第一列到第m1列构成，子矩阵列可排列 准对称信道的信道容量 离散信道及其信道容量 * 信息论导论 通信与信息工程学院 杨海芬 第4章 离散信道及其信道容量 掌握互信息量的定义和计算； 掌握离散系统平均互信息量的定义、计算和性质； 理解单符号离散信道信道容量的定义，了解信道容量计算一般方法的推导、计算步骤的整理，掌握一般2×2信道信道容量的计算； 掌握对称信道\非对称信道的特点，信道容量计算式的导出和计算； 了解离散无记忆信道（扩展信道）的特点，离散无记忆信道信道容量与单符号离散信道信道容量的关系。 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。 一般信道的定义及模型 信道是传输信息的媒质或通道。 影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。 信道的一般数学模型： P（Y/X） X Y 一般信道的数学模型 信道容量 衡量一个信息传递系统的好坏，有两个主要指标： 速度指标：信息（传输）率R，即信道中平均每个符号传递的信息量； 质量指标：平均差错率Pe，即对信道输出符号进行译码的平均错误概率； 目标：速度快、错误少，即R尽量大而Pe尽量小。 信道容量：信息率能大到什么程度； 信道容量：信息率能大到什么程度 (1)信道容量是信道信息率的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的达