2东北大学信息论与编码011chapter2.ppt

联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。 一类相对简单的离散平稳信源；该信源在某一时刻发出符号的概率除与该符号有关外,只与此前发出的有限个符号有关。描述符号之间依赖关系的条件概率可表述为： 最简单的马尔可夫信源是当m=1，也就是一阶马尔可夫信源。 对于m阶马尔可夫信源，将该时刻以前出现的m个符号组成的序列定义为状态si， si有Q种可能取值。 Yr确定后，Yr+1概率分布只与Yr有关，与Yr-1 、Yr-2 …等无关， p(sj---稳定后的状态概率分布] WP=W [p(a1) p(a2)]=WP’ 在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。具体地说，如信源发某一符号ai，由于信道中噪声的随机干扰，收信者收到的一般是ai的某种变型bi．收信者收到bi后，从bi中获取关于ai的信息量,如果以I(ai；bi)表示，则有I(ai；bi)＝[收到bi前，收信者对ai存在的不确定性(先验不定度)]—[收到bi后，收信者对ai仍然存在的不确定性(后验不定度)]＝收信者收到bi前、后，对ai存在的不确定性的消除。假定信道中没有噪声的随机干扰(即无噪信道)。这时，显然有bi＝ai本身，收信者确切无误地收到信源发出的消息。那么，(收到bi后，对ai仍存在的不确定性)＝0。同时，(收到bi后，从bi中获取关于ai的信息量I(ai；bi))就变成(收到ai后，从ai中获取关于ai的信息量I(ai))，这个I(ai)也就是ai本身所含有的信息量，即能提供的全部信息量，我们称之为ai 的“自信息量”。根据上述的一般原则，就可有： I(ai)＝收到ai前，收信者对信源发ai的不确定性。 信源符号ai的自信息量，在数量上等于信源发符号ai的不确定性。ai的度量问题，就转变为信源发符号ai的不确定性的度量问题。 不确定性是与可能性相联系的，而可能性又可由概率的大小来表示．所以可以断言，自信息量I(ai)一定是信源发符号ai的先验概率p(ai)的某一函数。 对于给定的离散概率空间表示的信源，具有概率为p(xi)的符号xi的自信息量为： 信源X的任一符号xi 所含有的自信息量I(xi) 等于符号xi的先验概率p(xi的倒数的对数。只要测定了先验概率p(xi)，就可定量地计算符号xi的自信息量。 自信息量含义：信源X发符号xi以前，表示事件xi 发生的不确定性；信源X发符号xi以后,表示事件xi所含有的信息量。 信源符号的不确定度在数量上等于它的自信息量。 可加性具体表述如下： 注意： xi yj所包含的不确定度在数值上也等于它们的自信息量。 注意: 在给定 yj 条件下,随机事件 xi 所包含的不确定度在数值上与条件自信息量相同, 但两者含义不同。 概率p(xi) 总是在闭区间【0，1】内，所以I (xi)是非负值。 I(xi)是先验概率p(xi)的单调递减函数 对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，不能作为信源总体的信息量度，我们采用求平均的方法。 x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 随机摸取n次后红球出现的次数为np(x1)次，白球出现的次数为 np (x2)次。 概率平均值 信源不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度。平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说，获得这样大的信息量后，信源不确定度就被消除了。 模拟信号 符号x,y同时出现的信息量等于y出现的信息量加上y出现后再出现x的信息量。 信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是 一个确定值。 在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义。这就是给予接收者的信息度量。这值本身可以是随机量，如前面所讲的自信息量。也可以与接收者的情况有关，如后面要提到的意义信息量。当信源输出连续消息时, 信息量的值可以是无穷大。 “一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。 信息流通的根本问题，是定量计算信宿收到信道输出的某一符号后，从中获取关于信源某一符号的信息量。 离散平稳信源 联合概率具有时间推移不变性 对于离散平稳信源，有下列结论： 1 条件熵 是L的单调非增函数。