信息论课后习题-PPT.pptxVIP

2.8设随机变量X和Y的联合概率分布如右表所示。随机变量求：

（1）H(X)，H(Y)

（2）H(X|Y)，H(Y|X)，H(X|Z)

;2.13有一个马尔可夫信源，已知转移概率为：

试画出状态转移图，并求出信源熵。

解：根据转移概率，得状态转移图如下所示：

求解信源熵：

得：

;2.14有一个一阶平稳马尔可夫链，各

取值于。已知起始概率为：

转移概率如右表所示：

;2.14（续）;2.14(续);2.14(续);2.14（续）;2.14（续）;2.16一阶马尔可夫信源的状态分布如下图所示，信源X的符号集{0，1，2}，并定义：

（1）求信源平稳后的概率分布P(0),P(1),P(2).

（2）求此信源的熵。

（3）近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的上H(X)并与进行比较。

（4）对一阶马尔可夫信源p取何值时取最大值，又当p=0和p=1时结果如何？;2.16（续）;2.16（续）;2.16（续）;2.16（续）;2.17设马尔可夫信源的状态集合，

符号集

在某状态下发出符

号：的概率为：

如图所示。

（1）求状态极限概率并找出符号的极限概率。

（2）计算信源处在，状态下输出符号的

条件熵

（3）求信源的极限熵;2.17（续）;2.17（续）;2.17(续);4.2离散无记忆信源的概率空间为：

若对信源采取等长二元编码，要求编码效率，允许译码错误概率，试计算需要的心愿序列长度N为多少？;4.6设离散无记忆信源的概率空间为：

;4.6（续）;4.6（续）;4.8已知离散无记忆信源的概率空间为：

用霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。;4.8（续）;5.11已知一个平均功率受限的连续编号，通过带宽B=1MHz的高斯白噪声信道，问

（1）若信噪比为10，信道容量为多少？

（2）若信道容量不变，信噪比将为5，信道带宽应为多少？

（3）若信道通频带减为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？;5.11（续）

（3）同样由信道容量??式可得：

其中，

可求得：