2013.信息论.第4章离散信道及其容量.ppt

作业 4.19，4.20，4.37 设 若设X Y Z为马尔可夫链，则串联信道的总的信道矩阵为： §4.5 信道容量 一、定义： 1、信息传输率 信道中平均每个符号所能传送的信息量。 2、信息传输速率 信道在单位时间内平均传输的信息量。 3、信道容量 信道容量定义为平均互信息的最大值。 信道容量 P(x) I(p(x)) P1(x) P2(x) 意义：对于给定的信道，至少存在一个信源，当通过这个信道传递时，可以获得最大的平均互信息。 释： ①、信道容量表征信道传送信息的最大能力； 信源通过信道实际上传送的信息量不大于信道容量 ②、I(X;Y)是关于信源p(x)的上凸函数，对于给定的一个信道，存在信源p(x)使得I(X;Y)达到最大； ③、使得I(X;Y)达到最大的信源称为最佳分布信源； ④、C与p(x)无关，是关于信道p(y|x)的函数。 1、离散无噪信道： 输出和输入符号之间存在确定的对应关系 二、几类典型离散信道及其信道容量 ①、无损信道 信道的一个输入对应多个互不交叉的输出，其信道矩阵中每一列中只有一个非零元素，即信道接收到输出以后，必可知发送端的状态 。 ②、确定信道 信道的一个输出对应多个互不交叉的输入，其信道矩阵中每一行只有一个元素为“１”，其余元素均为“０”。 ③、无损确定信道 信道的输入和输出是一一对应关系，其信道的信道矩阵为单位阵。 分类 无损信道 确定信道 无损确定信道 定义 H(X|Y)=0（无损） H(Y|X)0（有噪） H(X|Y)0（有损） H(Y|X)=0（无噪） H(X|Y)=0（无损） H(Y|X)=0（无噪） 特点 一多对应 多一对应 一一对应 损失熵和噪声熵 信道 Ｘ Y p(y|x) 分 类 无损确定信道-- 无损信道 确定信道 信道容量 H(X|Y)=0（无损） H(Y|X)=0（无噪） H(X|Y)=0（无损） H(Y|X)0（有噪） H(X|Y)0（有损） H(Y|X)=0（无噪） 最佳信源 等概分布 等概分布 使信道输出为等概率分布p(y)=1/s的输入分布 信道容量和最佳信源 * § 4.1 信道模型及其分类 一、信道的数学模型 信道是信息传输的媒质或通道。其数学模型如下: 信道相当于一个数学变换，可以用条件概率描述p(y/x)。 干扰 第4章 离散信道及其容量 输入事件的概率空间为[X P] 输出事件的概率空间为[Y P] 二、信道的分类 1、根据输入输出事件的时间特性和集合的特点 ①离散信道：Ｘ和Ｙ都是离散事件集合，数字信道 ②连续信道：Ｘ和Ｙ都是连续事件集合，模拟信道 ③半连续信道：Ｘ和Ｙ一个是离散事件集合，一个是连续事件集合 ④时间离散的连续信道：信道输入和输出是有限或可数个取值于连续集合的序列。 ⑤波形信道：信道输入和输出是随机过程。 2、根据输入和输出的个数分为 两端信道：输入和输出都只有一个事件集合，也称单用户信道 。 多端信道：输入和输出至少有一端有两个以上的事件集合，也称多用户信道。 3、根据信道的统计特性分为 恒参信道：信道统计特性不随时间变化。 随参信道：信道统计特性随时间变化。 4、根据信道的记忆特性分为 无记忆信道：信道输出集Ｙ仅与当前输入集Ｘ有关 有记忆信道：信道输出集Ｙ与当前和以前若干个输入集有关。 § 4.2 离散无记忆信道 一、离散信道数学模型 信道 p(y|x) Ｘ=X1X2…XN Y=Y1Y2…YN 信道特性可用转移概率 p(y|x)=p(y1y2…yN|x1x2…xN) 描述，信道数学模型为 [ X p(y|x) Y] 输入符号集A={a1,a2,…,ar}，输出符号集B={b1,b2, …,bs} 输入序列Ｘ=X1X2…XN，取值x=x1x2…xN，xi∈A 输出序列Y=Y1Y2…YN，取值y=y1y2…yN，yi∈B 1、离散无记忆信道discrete memoryless channel(DMC) 若离散信道对任意N长的输入输出序列转移概率满足 则称其为离散无记忆信道，其数学模型为 [ X p(yi|xi) Y] 2、平稳信道（恒参信道） 若DMC对于任意给定的 n 和 m 有 p( yn= bj | xn= ai) = p( ym= bj | xm= ai) 则称此信道为平稳信道或恒参信道，即信道转移概率不随时间变化。后面所讨论的离散无记忆信道均是平稳的。 3、根据信道的统计特性，离散信道分类 ①无噪（无扰）