信息论与编码原理-第2、3章课后习题-20140526-22点-自己整理详解.ppt

第二、三章习题;;(2)“两个1同时出现”事件的自信息量；;(4)两个点数之和(即2,3…12构成的子集)的熵；;/符号;(6)两个点数的各个组合(无序对)的熵或平均信息量；;2.5 某离散信源输出两个符号X1X2。已知第一个符号X1的概率分布为P(x1=0)=1/2，P(x1=1)=1/3，P(x1=2)=1/6。假定第二个符号与第一个符号之间的条件概率P(x2/x1)，如下表2.12所示。计算条件熵H(X2/X1)和联合熵H(X1X2)。;而 联合概率P(x1x2)=P(x1) P(x2/x1);2.9 设有一个离散无记忆信源，其概率空间为 ，它们通过干扰信道，信道输出端的接收符号集为 ，信道转移概率如图2.16所示。试计算： ;(2)收到信息 后，获得的关于 的信息量 ；; 信道联合概率;(4)信道疑义度H(X/Y) ；;(1)H(X)，H(Y)，H(Z)；;比特/符号;(2) H(XY), H(XZ), H(YZ), H(XYZ) ；;;比特/二个符号;(4) H(Z/XY), H(X/ZY)；;2.11 两个实验X和Y， ，联合概率 为;(2) 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？;2.22有两个连续随机变量X和Y的联合概率密度函数为;(2)如果随机变量Z=X+Y，计算h(Z)；;3.2 某离散信源的单符号概率空间为 ，假设该信源每两个字符组成一个序列，序列与序列之间相互独立，序列中第2个符号与第一个符号之间的条件概率 如表3.9所示。 表3.9 写出二次扩展信源的数学模型，并计算扩展信源的熵和平均符号熵。;单符号信源熵：;3.3 某一无记忆信源的符号集为{0,1}，已知 （1） 求信源符号的平均信息量。 （2） 由100个符号构成的序列，求某一特定序列（例如m个0和100-m个1）的信息量。 （3） 计算（2）中的序列熵。;序列信息量为：;3.4 设有一个信源，它产生0,1序列的消息。它在任意时间且不论以前发出过什么符号，均按照 的概率发出符号。 （1） 试问该信源是否平稳？ （2） 试计算 和极限熵 。 （3） 试计算 ，并写出 信源中所有可能的符号。;由题意可得，该信源是平稳信源。;(3);（1） 试计算条件熵 和 ； （2） 计算极限熵 ，并计算该信源的剩余度； （3） 比较该二维离散平稳信源的极限熵和单符号信源的熵，并说明其物理意义。; （2） 二维离散平稳信源的极限熵满足： 剩余度：;3.7 一阶马尔科夫链 ，各 的取值于集 ， 已知起始概率为 ，其状态转移概率 如表3.2(P54)所示。 （1） 该信源是否为其次遍历的马尔可夫信源？ （2） 该马尔可夫信源是否为离散平稳信源？ （3） 该信源在什么情况下可以看作是离散平稳信源? （4） 求信源的极限熵。 （5） 求 和 。; 解：（1）由马尔可夫一步转移概率矩阵得：;与最初的概率不同，因而不是离散平稳信源。;（5）;3.9 有一个二元二阶马尔可夫信源，其信源符号集为 ，在初始时刻，信源符号概率为 。条件概率为 ，即4种状 态00、01、10、11，假定分别用 符号表示。;（1） 写出该信源的状态转移矩阵。 （2） 计算