信息论及编码第一讲.ppt

一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项， 定义连续信源的熵为： 由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。 既然如此，那么为什么还要那样来定义连续信源的熵呢？一方面，因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）；另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔△一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵h(X)称为差熵，以区别于原来的绝对熵。 同理，可以定义两个连续变量X、Y的联合熵和条件熵，即 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。 5.2 最大熵定理 在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件 以外，还有其它约束条件。当各约束条件不同时，信源的最大熵值不同。一般情况，在不同约束条件下，求连续信源的差熵的最大值，就是在下述若干约束条件。 求泛函 的极值。 通常感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 （1）峰值功率受限条件下信源的最大熵 定理： 若信源输出的幅度被限定在[a,b]区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。 此时， （2）平均功率受限条件下信源的最大熵 定理： 若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差 ）），则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 。 高斯分布（正态分布）：（其中，m为数学期望，方差为 ） 在限制信号平均功率的条件下，正态分布的信源有最大差熵，其值随平均功率的增加而增加。 上述定理说明，连续信源在不同的限制条件下有不同的最大熵，在无限制条件时，最大熵不存在。 根据最大熵定理可知，如果噪声是正态分布时，则噪声熵最大，因此高斯白噪声获得最大噪声熵。也就是说，高斯白噪声是最有害的干扰，在一定平均功率下，造成最大数量的有害信息。在通信系统中，往往各种设计都将高斯白噪声作为标准，并不完全是为了简化分析，而是根据最坏的条件进行设计获得可靠性。 3.4 平均互信息量 XY联合集上的平均条件互信息量 定理2.5 XY联合集上的条件互信息量满足 当且仅当X集合中的各x都与yi独立时，等号成立 通过有扰信道的接收符号 任意一个可能被传输的消息 结论：有扰信道中接收到的符号所提供的 关于传输消息的平均信息量总是非负量。 平均互信息量： 平均条件互信息量在整个Y集合上的概率加权平均值 。 特性 互易性 与熵和条件熵的关系 与熵和共熵的关系 条件熵可看作由于信道噪声而损失的信息量（损失熵） 也可以看作由于信道噪声所造成的对信源消息的平均不确定性 疑义度 条件熵可看作唯一地确定信道噪声所需要的平均信息量（散布度） 噪声熵 无扰信道 噪声很大的信道 四、信道及其容量 4.1 4.2 4.3 信道容量计算 离散信道可分成： 特殊信道 无噪无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道 特殊信道 信道名称 信道特征 信息传输情况 全损信道 P(xy)=P(x)P(y) H(X/Y)=H(X) I(X;Y)=0 无损无噪 信道 P(x/y)=0 or 1 且P(y/x)=0 or 1 H(X/Y)= H(Y/X)=0 I(X;Y)=H(X)=H(Y) 无损信道 P(x/y)=0 or 1 H(X/Y)= 0 I(X;Y)=H(X) 无噪信道 P(y/x)=0 or 1 H(Y/X)=0 I(X;Y)=H(Y) 对称DMC信道 对称性: 每一行都是由同一集{p1, p2,…pm} 的诸元素不同