信息论试题4.doc

《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1.离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特征，对概率 大 的符号用短码，对概率 小 的符号用长码，这样平均码长就可以降低，从而提高 编码效率 。 2.连续信源的绝对熵为 3.信源编码的目的是：提高有效性/改善信息的传输效率 信道编码的目的是： 提高可靠性 4.在下面的空格中选择填入数学符号“=，≥，≤，＞”或“＜” H（XY）= H(Y)+H(X∣Y) ≤ H(Y)+H(X)。 5. 若连续信源的平均功率为10w，则最大熵为 ， 达到醉倒的条件是 信源输入是高斯分布 。 6. 平稳信源极限熵的定义为 7 当 R=C （或信道信息传输率达到最大或信道剩余度为0）时 ，我们称信源与信道达到匹配。 8 香农第一编码定理指出平均码长的理论极限值为 此时编码效率为 1 ，编码输出的码符号 独立等概或均匀 分布 ，编码后的信息传输率为 9 有一信源X，其概率分布为其信源剩余度为 ；若对该信源进行10次扩展，则每个符号的平均信息量是 15 bit/扩展信源符号 。 10 m阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 个不同状态。 11 掷两粒骰子，各面出现的概率是 ，当点数和为3时，该消息包含的信息量是bit。 12 信源的剩余度主要来自两方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性。 13 三进制信源的最小熵是 0 ，最大熵为 log3=1.585 bit/符号 二 （5分）证明：对于离散平稳信源，当时，条件熵随N的增加时递减的。 证明：因为条件熵与无条件熵有如下关系： 可以据它证得 因为信源是平稳的，所以有： 故得 由此递推，对于离散平稳信源有： 三 （10分）计算机终端发出A,B,C三种符号，出现概率分别为。通过一条宽带为6kHz的信道传输数据，假设信道输出信噪比为1023，试计算： 1）香农信道容量： 2）无误码传输的最高符号速率： 解：1）C=Blog(1+SNR)=60Kb/s 2) 四 （16分）已知离散无记忆信源的概率空间为 ，试用霍夫曼编成二进制变长码，并计算信源熵，平均码长编码后的信息传输率，编码信息率和编码效率。要求写出详细的编码过程和计算过程。 解：1编码过程和计算过程 （2）信源熵： （3）平均码长： （4）编码后信息传输率： （5）编码信息率： （6）编码效率： 五 （16分）设一个离散无记忆信源的概率空间为，它们通过干扰信道，信道输出端的接受符号集为，信道传输概率如下图所示： 试计算： 信源X中事件和 分别含有的自信息量；（2分） 收到信息后，获得的关于的信息量；（2分） 信源X的信源熵；（2分） 条件熵；（2分） 共熵(6分) 收到消息Y后获得的关于信源X的平均信息量。（2分） 解：（1） （2） （3） （4） （5） （6） 六 （12分）设某信道的传递矩阵为 （1）若输入符号 （2）计算该信道的信息容量，并说明达到信息容量的最佳输入概率分布。（6分） 解：（1）公式：损失熵： 计算过程： （2）公式C=logs-H(p的行矢量)= 七（16分）设有一个马尔可夫信源，它在开始时以P（a）=0.6， P（b）=0.3, P（c）=0.1的概率发出。如果为a时，为a,b,c的概率为；如果为b时，为a,b,c的概率为；如果为c时，为a,b的概率为，为c的概率为0.而且后面发的概率只与有关，又 i≥3. 试用马尔可夫信源的图示法画出状态转移图。 计算达到稳定后状态的极限概率。 该马尔可夫信源的极限熵。 计算达到稳定后符号0和1的概率分布。 解：（1）状态图 (2)因为 （3） 《信息论基础》试卷第1页