信息论基础-练习与思考2.ppt

第三章总结 信道容量 C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。 求信道容量的方法 当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 习题1 3.1.设信源 通过一干扰信道，接收符号为Y=[y1,y2],信道传递概率如下图所示。求 ①信源X中事件x1和x2分别含有的信息量。 ②收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量。 ③信源X和信源Y的信息熵。 ④信道疑义度H(X/Y)和噪声熵H(Y/X)。 ⑤接收到消息Y后获得的平均互信息。 习题1 习题1 习题2 3.3.设二元对称信道的传递概率为 ①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 ②求该信道的信道容量及达到信道容量时的输入概率分布。 习题2 习题3 3.9.有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 习题3 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 习题3 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 习题4 3.10.求下图中信道的信道容量及其最佳的输入概率分布。 习题4 解答：图中两个信道的信道矩阵分别为 均满足对称性，所以这两个信道是对称离散信道。由对称离散信道的信道容量公式得： 最佳输入分布（即达到信道容量的输入分布）是等概率分布 习题5 3.12.求下图中信道的信道容量及其最佳的输入概率分布。并求当ε=0和1/2时的信道容量C。 习题5 解答：图中信道的信道矩阵如下 此信道为一般信道。 习题5 习题5 习题6 6.5设一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，问放大器输出消息在每个自由度上的最大熵是多少？又放大器的带宽为F,问单位时间内输出最大信息量是多少？ 习题6 解答：已知幅度受限的连续随机变量的概率密度函数为均匀分布时其熵最大。所以，放大器输出消息的最大熵