信息论33.ppt

练习 3-1 3-3 3-4 3-5 3-6 * 单符号加性噪声信道：噪声和信号通常相互独立 y=x+z P(x,y)=p(x,z)=p(x)p(z) p(y|x)=p(z) P54 例3-3 * 串联信道 例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为: X0 0Z Y 1 1 1-p 1-p 1-p p 串联信道的转移矩阵为: 1-p p * 串联信道 X0 0Z Y 1 1 求得: 在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。 p p 1-p 1-p 1-p 1-p * 串联信道 由信息不增原理 信道2 信道m 信道1 … 可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0 X Y Z * 3.2.3 准对称DMC信道 准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。 它们满定对称性,所以P1所对应的信道为准对称信道。 * 准对称信道的信道容量 准对称信道 准对称信道容量 求解一：拉格朗日乘子法(P57例3-5)。 * 准对称信道的信道容量 当输入分布为等概率时： 其中n是输入符号集的个数,(p1, p2,…pm)为准对称信道矩阵中的行元素。 设矩阵可划分成r个互不相交的子集。 Nk是第k个子矩阵Pk中行元素之和, Mk是第k个子矩阵Pk中列元素之和。 * 例：设信道传递矩阵为 计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4 将它分成 * 3.2.4 一般DMC信道 定理： 一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足: I (ai;Y) = C 对于所有ai其p(ai)＞0 I (ai;Y) ≤C 对于所有ai其p(ai) = 0 上式说明： 当信道的平均互信息I(X;Y)达到信道容量时,所有概率非零的输入符号ai对输出端Y提供相同的平均互信息。 C为所求信道容量。 * 一般情况下，最佳分布不一定是唯一的，只需满足信道容量定理，并使互信息量最大即可。 * 信息论与编码 信道与信道容量 第三章 * 3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 内容 * 3.1 信道的基本概念 重难点 主要内容： 信道的基本概念 重点 信道的分类，信道转移概率 难点 有干扰无记忆信道 * * 信道 信道：信息传输的通道 . 信道任务：是以信号形式传输和存储信息。 研究目标：信道容量，即信道中理论上能够传输或者存储的最大信息量。 信道特性：由信道的输入输出统计关系确定。 信 道 输入量X (随机过程) 输出量Y (随机过程) p(Y|X) 噪声干扰Z (随机过程) * 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} 信道转移概率矩阵p(Y|X)： 该条件概率描述输入/输出的统计依赖关系,反映信道统计关系 信 道 X Y p(Y|X) Z * 离散无记忆信道DMC 信道输入是n元符号 X∈{a1, a2, …, an} 信道输出是m元符号 Y∈{b1, b2, …, bm} 信道无记忆 a1 a2 an b1 b2 bm : : : : : : p11 p12 p21 p22 pnm pij=p(bj|ai) 转移矩阵 * P:转移概率矩阵 已知X,信道输出Y表现出来的统计特性 完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率 转移概率矩阵 * 已知Y,信道输入X表现出来的统计特性 p(ai|bj):后向概率 已知信道输出端接收到符号bj但发送的输入符号为ai的概率。 反信道转移概率矩阵 * 信道容量的定义 研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R。 R=I(X;Y)=H(X)-H(X|Y) bit/符号 平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。 信道的信息传输率就是平均互信息 * 定理1 当信道给定，即信道转移概率p(y︱x)固定，平均互信息量I(X ; Y)是信源概率分布