[理学]信息论与编码zjh201209zjh第三章1.ppt

信道与信道容量 第三章 3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 3.5 信源与信道的匹配 3.2.1 无干扰离散信道 对称离散信道的平均互信息为 对称DMC信道的容量： 例3-1 串联信道 例3-4 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为: 串联信道 求得: 串联信道 由信息不增原理 3.2.3 准对称DMC信道 准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。 准对称信道的信道容量 准对称信道 准对称信道的信道容量 例：设信道传递矩阵为 3.2.4 一般DMC信道 定理： 一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足: I (ai;Y) = C 对于所有ai其p(ai)＞0 I (ai;Y) ≤C 对于所有ai其p(ai) = 0 3.3离散序列信道及容量 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} 定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为 离散序列信道及容量 若信源与信道都是无记忆的 例3-9.BSC信道二次扩展 独立并联信道 设有L个信道,它们的输入、输出分别是： X1,X2…XL； Y1,Y2…YL 连续信道的容量不容易计算。 当信道为加性连续信道时,情况简单一些。 设信道的输入和输出信号是随机过程x(t) 和y(t) y(t) = x(t) + n(t) 连续信道及其容量 高斯白噪声加性信道单位时间的信道容量 3.5 信源与信道的匹配 信源发出的消息（符号）要通过信道来传输，因此要求信源的输出与信道的输入匹配。 符号匹配：信源输出的符号必须是信道能够传送的符号； 信息匹配：当信源与信道连接时，信息传输率达到信道容量，则称信源与信道达到匹配。 信道剩余度 信道绝对剩余度 = C－I(X;Y) 信道相对剩余度 = 信道剩余度 剩余度大：信源与信道匹配程度低，信道的信息传递能力未得到充分利用； 剩余度小：信源与信道匹配程度高，信道的信息传递能力得到较充分利用； 剩余度为零，说明信源与信道（信息）完全匹配，信道的信息传递能力得到完全利用。 一般来说，实际信源的概率分布未必就是信道的最佳输入分布，所以I(X;Y)≤C，剩余度不为零。 信 道 X Y p(Y|X) 对于无记忆离散序列信道,其信道转移概率为 仅与当前输入有关。若信道是平稳的 则存在 定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即 则存在 L次扩展信道的信道容量 当信道平稳时: 一般情况下: 00 X 01 10 11 00 01 10 11 Y 转移概率矩阵 2次扩展信道的信道容量 若 p = 0.1 则 C2=(2－0.938)bit/序列 = 1.062bit/序列 C1 = 0.531bit/序列 信 道 信 道 信 道 p(Y1|X1) p(YL|XL) p(Y2|X2) … 每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。 独立并联信道的信道容量 X1 X2 XL Y1 Y2 YL n(t)：信道的加性高斯白噪声 一个受加性高斯白噪声干扰的带限波形信道的容量,由香农(1948)正式定义： 信 道 n(t) x(t) y(t) 3.3 连续信道及其容量 这就是著名的香农公式 * 信道是通信系统中的重要部分，是传输信息的载体，其任务是以信号方式传输信息、存储信息。因而研究信道就是研究信道中理论上能够传输或存储的最大信息量，及信道容量问题。 内容 3.1 信道的基本概念 研究信道容量主要考虑信道中干扰的影响，由于信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖关系，因此可以通过研究分析输入输出信号的统计特性来研究信道。 3.1.1 信道的分类 （1）根据用户数量可分为 单用户信道：一个输入端,一个输出端,单向通信信道。 多用户信道：双向通信，三个或更多个用户之间相互通信的情况。 （2）根据输入端与输出端的关系可分为 无反馈信道：输出端信号不反馈到输入端，输出信号对输入信号没