信息论与编码第三章 信道容量习题的答案.docVIP

3.1 设信源通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为，求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。 解： 1) 2) 3) 4) 5) 3.2 设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 2) 3.3 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？ 解： 对本题建立数学模型如下： 以下是求解过程： 3.4 若X, Y, Z是三个随机变量，试证明 (1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)； 证明： (2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)； 证明： (3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。 证明： 当时等式成立 所以等式成立的条件是X, Y, Z是马氏链 3.5若三个随机变量，有如下关系：Z = X + Y，其中X和Y相互独立，试证明： (1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)； (5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。 解： 1) 2) 3) 4) 5) 3.6 有一个二元对称信道，其信道矩阵为。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？ 解： 信道容量计算如下： 也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是： 现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是 要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。 3.7 求下列各离散信道的容量（其条件概率P(Y/X)如下：） (1) Z信道 (2) 可抹信道 (3) 非对称信道 (4) 准对称信道 解： 1) Z信道，求βj b. 由公式，求C c. 由公式，求p(yj) d. 由公式，求p(xi) 由方程组： 解得 因为s是条件转移概率，所以0 ≤ s ≤ 1，从而有p(x1)，p(x2) ≥ 0，保证了C的存在。 2) 可抹信道 3) 非对称信道，求βj b. 由公式，求C c. 由公式，求p(yj) d. 由公式，求p(xi) 由方程组： 解得 p(x1)，p(x2) ≥ 0，保证了C的存在。 (4) 准对称信道 把信道矩阵分解成三个子矩阵如下： 3.8 已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？ 解： 3.9 有二址接入信道，输入X1, X2和输出Y的条件概率P(Y/X1X2)如下表（ε 1/2），求容量界限。 X1X2 Y 0 1 00 1-ε ε 01 1/2 1/2 10 1/2 1/2 11 ε 1-ε 3.10 有一离散广播信道，其条件概率为试计算其容量界限（已知）。 3.11 已知离散信源，某信道的信道矩阵为试求： (1) “输入x3，输出y2”的概率； (2) “输出y4”的概率； (3) “收到y3的条件下推测输入x2”的概率 。 解： 1) 2) 3) 3.12 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元素。而其他 3.13 试证明：当信道每输入一个X值，相应有几个Y值输出，且不同的X值所对应的Y值不相互重合时，有H(Y) – H(X) = H(Y/X)。 证明： 信道每输入一个X值，相应有几个Y值输出，且不同的X值所对应的Y值不相互重合。这种信道描述的信道转移矩阵[P]的特点是每列有一个