信息论复习题【汽车学院】.pdfVIP

信息理论习题集 信息理论基础习题集 【汽车学院】 一、判断： 1、必然事件和不可能事件的自信息量都是0 。错 p (x ) 2 、自信息量是 i 的单调递减函数。对 3、单符号离散信源的自信息和信源熵都具有非负性。对 4 、单符号离散信源的自信息和信源熵都是一个确定值。错 5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递 减的。对 6、自信息量、条件自信息量和联合自信息量之间有如下关系： I (x y ) I (x ) I (y / x ) I (y ) I (x / y ) i j i j i j i j 对 7、自信息量、条件自信息量和互信息量之间有如下关系： I (x ;y ) I (x ) I (x / y ) I (y ) I (y / x ) i j i i j j j i 对 8、当随机变量X 和Y 相互独立时，条件熵等于信源熵。对 9、当随机变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 。错 10、信源熵具有严格的下凸性。错 11、平均互信息量I （X ；Y ）对于信源概率分布p （x ）和条件概率分布 i p （y /x ）都具有凸函数性。 对 j i 12、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依 赖关系相同。 错 13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极 限熵。 对 14 、定长编码的效率一般小于不定长编码的效率。 对 15、若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码 K K 子长度为K，变长码子平均长度为 ，一般 K 。 错 16、信道容量C 是I （X ；Y ）关于p （x ）的条件极大值。 对 i 17、离散无噪信道的信道容量等于log n ，其中n 是信源X 的消息个数。 2 错 18、信道无失真传递信息的条件是信息率小于信道容量。对 19、最大信息传输速率，即：选择某一信源的概率分布（p （x ）），使信 i 道所能传送的信息率的最大值。 错 20、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对 信源存在的不确定性就越小，获得的信息量就越小。 错 2 1、当p （x ）、p （y /x ）和d （x ，y ）给定后，平均失真度是一个随即 i j i i j 变量。 错 22 、率失真函数对允许的平均失真度具有上凸性。对 23、信源编码是提高通信有效性为目的的编码。 对 1 信息理论习题集 24 、信源编码通常是通过压缩信源的冗余度来实现的。 对 25 、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 26 、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 对 27 、在编 m （m2 ）进制的哈夫曼码时，要考虑是否需要增加概率为 0 的码字，以使平均码长最短。 对 28 、对于BSC 信道，信道编码应当是一对一的编码，