- 第章- 信道模型信道容量ppt.pptVIP

第3章　信道容量 3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 3.3　多符号离散信道 3.4　多用户信道 3.5　连续信道 3.6　信道编码定理 3.1　信道的数学模型和分类 信道是信息传输的媒介或通道。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。X与Y之间是统计依赖关系。 信道的数学模型：{X P(y/x) Y} 信道的基本概念 信道的任务：以信号的方式传输信息和存储信息 信道中存在随机噪声 输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系 研究信道的目的：信道能够传输或存储的最大信息量，即信道容量 信道的分类１－按时间特性 根据输入输出事件的时间特性和集合的特点： 离散信道：输入离散，输出离散 连续信道：输入连续，输出连续 半连续信道：输入和输出一个离散一个连续 时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列 信道的分类２－按输入输出个数 根据信道的输入和输出个数： 两端信道（两用户信道）：输入和输出均只有一个事件集； 多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。 信道的分类３－按信道接入 根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。 广播信道：单一输入，多个输出。 信道的分类４－按统计特性 根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。 信道的分类５－按记忆特性 根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。 离散信道的数学模型 离散无记忆信道 定义：离散无记忆信道 若离散信道对任意N长的输入、输出序列，有 称它为离散无记忆信道，简记为DMC。其数学模型为 对于DMC，在任何时刻信道的输出只与此时的信道输入有关，而与以前的输入无关。 离散无记忆平稳信道 无扰（无噪）信道 根据信道的统计特性不同可分为 无扰（无噪）信道 有干扰无记忆信道 有干扰有记忆信道 有干扰无/有记忆信道 有干扰无记忆信道：信道中存在随机干扰，输出符号与输入符号之间无确定的对应关系。但是，信道中任一时刻的输出符号仅统计依赖于对应时刻的输入符号。可用下述条件概率表示： 有干扰有记忆信道：实际信道往往是既有干扰又有记忆的。（两种处理方式） 单符号离散信道 单符号离散信道 信道矩阵 信道传递概率实际上是一个传递概率矩阵，称为信道矩阵P。 二元对称信道-例题 给定一个离散信道如下图所示。输入符号集和输出符号集分别为 X={0,1}和Y= {0,1}，传递概率为 二元对称信道简记为BSC。其信道矩阵为 1-p表示单个符号无错误传输的概率； p表示单个符号传输中发生错误的概率。 二元删除信道-例题 对于二元删除信道，n=2,m=3。输入集X取值于X={0,1}，输出集取值于Y={0，2，1}。 其传递概率、信道矩阵如下图所示： 其中： p和q表示单个符号无错误传输的概率； 1-p和1-q表示单个符号传输中发生错误的概率。 二元对称消失信道-例题 二元对称消失信道中，n=2，m=3。输入集X的取值为X={0,1}，输出集Y的取值为Y={0,x,1}。 输出集中多了一个符号x，使得在一定概率下，输入X的输出为“0”还是为“1”不可确定，这就使一定概率的X在输出端“消失”了。 二元对称消失信道的传递概率和信道矩阵如下所示： 离散信道中的一般概率关系 先验概率 联合概率 前向概率 后向概率 输出符号概率 离散信道中的一般概率关系 平均互信息 定义：原始信源熵与信道疑义度之差称为平均互信息 平均互信息 例1 二元删除信道 传递概率及信道矩阵分别为 输入集X的概率分布为PX=[1/4,3/4] 则输出集Y的分布为 例1　计算信源熵 例1 　计算信道疑义度 例3.2.1 -分析 例2 计算并分析平均互信息 掷骰子，如果结果是1，2，3或4，则抛一次硬币；如果结果是5或者6，则抛两次硬币。试计算从抛硬币的结果可以得到多少掷骰子的信息量。 可以用一个无记忆信道来描述，设掷骰子结果是1，2，3或4的事件X＝0，结果是5，6为事件X＝1。 输出符号集Y＝0表示抛币出现0次正面，Y=1表示出现1次正面，Y=2表示2次正面。 例2 计算H(Y),H(Y/X),I(X;Y) 例2 计算H(X),H(X/Y),H(X,Y) 例3 分析二元对称信道 考虑二元信道 例3 信道的互信息量 例