信息论基础及编码课后题答案(第三章).docx

3-1 设有一离散无记忆信源，其概率空间为，信源发出符号通过一干扰信道，接收符号为，信道传递矩阵为，求：（1）信源中事件和分别含有的自信息量；（2）收到消息（j＝1，2）后，获得的关于（i＝1，2）的信息量；（3）信源和信宿的信息熵；（4）信道疑义度和噪声熵；（5）接收到消息后获得的平均互信息量。解：（1）（2），，，（3）（4）（5）3-2 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：，信源信宿概率分布为：，H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源包含两种消息：，且，信道是有扰的，信宿收到的消息集合包含。给定信道矩阵为：，求平均互信息。解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。3-4设二元对称信道的传递矩阵为：，（1）若P(0)=，P(1)=，求，，和；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X；Y)=0.06（bit/符号）；（2）C＝0.082（bit/符号），最佳输入分布为：3-5 求下列两个信道的信道容量，并加以比较：（1）（2）其中。解：（1）（2）两者的信道容量比较：3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。并求当和时的信道容量C。题图 3-6解：由图知信道转移矩阵为：，此信道非对称信道，也非准对称信道，不能利用其公式计算。此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵，又r＝s，则可利用方程组求解：，所以解得：，，所以，，，，根据，得最佳输入分布为：，，当＝0时，此信道为一一对应信道，；当＝0.5时，。3-7 有一个二元对称信道，其信道矩阵为。设该信道以1500个二元符号每秒的速率传输输入符号。现有一消息序列共有14000个二元符号，并设在这个消息中，。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：信道容量：C＝0.859（bit/符号），，10秒内最大信息传输能力＝12880 bits，消息序列含有信息量＝14000 bits，1288014000，所以10秒内不能将这消息序列无失真地传送完。3-8 有一离散信道，其信道转移概率如题图3-8所示，试求：（1）信道容量C；（2）若＝0，求信道容量。题图 3-8解：（1）（2）若，则3-9 设离散信道矩阵为：，求信道容量C。解：C＝0.041（bit/符号）。3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。试求：题图 3-10（1）信道容量；（2）若将两个同样信道串接，求串接后的转移概率；（3）求串接后信道的信道容量。答案：（1）此信道转移概率矩阵，信道容量＝0.0487 bit/符号；（2）串接后的转移概率矩阵；（3）串接后信道的信道容量＝0.0033 bit/符号。3-11 设有一离散级联信道如题图3-11所示。试求：题图 3-11（1）与间的信道容量；（2）与间的信道容量；（3）与间的信道容量及其输入分布。答案：（1）（2）＝0.75 （bit/符号）（3）X、Z间信道转移概率矩阵为它是准对称信道，当输入等概率分布时达到信道容量。＝{0.5,0.5}3-12 若有两个串接的离散信道，它们的信道矩阵都是：，并设第一个信道的输入符号是等概率分布，求和并加以比较。解：串接后信道矩阵为，比特/符号，比特/符号可见，3-13 若，，是三个随机变量，试证明：；；,当且仅当（）是马氏链时等式成立。3-14 若三个离散随机变量有如下关系：，其中和相互独立，试证明：；；；；。3-15把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效于一个二元对称信道，其错误传递概率为。并证明：，设，信道的串接如题图3-15所示。题图 3-15证明：当＝1时，，当＝2时，，错误传递概率为：。当考虑三个二元对称信道串接，得用数学归纳法可证明：3-16 有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在和之间。此信源连至某信道，信道接收端接收脉冲的幅度处在和之间。已知随机变量和的联合概率密度函数试计算，，和。答案：，，，。X与Y统计独立。3-17