第三章 多符号离散信源与信道.pptx

第三章 多符号离散信源与信道第1~5节第一节 多符号离散平稳信源的数学模型单符号：一个符号代表一个消息；多符号：一串符号代表一个消息；X=X1X2X3…….多符号离散信源发出的消息，可看作单符号离散信源每单位时间发出的离散信源符号组成的时间序列。N维离散平稳信源联合概率：P(aiaj) N维离散平稳信源每一条消息由N个符号X构成可发出：?N维~是概率完备集：数学描述第二节 离散平稳无记忆信源的熵N维离散平稳无记忆信源记为：式（3.14）的证明熵的求取（3.16）离散平稳无记忆信源的信息熵式（3.18）例3.1第三节 离散平稳有记忆信源的熵有记忆：前一时刻的取值按照一定统计 规律影响后续时刻的取值平稳性：不同时刻的联合概率相等离散平稳有记忆信源的数学模型联合概率求取：完备集证明：式（3.24~3.26）二维离散平稳信源的例子：式（3.27~3.42）二维离散平稳信源的熵无记忆有记忆（3.27-3.32）有记忆/无记忆信源熵的比较（3.33-3.42）：定义平均符号熵：HN(X)扩展为N维离散平稳信源H(X) = H(X1X2…XN) = H(X1) + H(X2/X1) + H(X3/X1X2) + + …… + H(XN/X1X2…XN-1 )且：例3.2第四节 离散平稳有记忆信源的极限熵有记忆信源符号之间的依赖性实际上可以延伸到无限远，即：N?∞。因此有必要分析其极限熵H∞。。。。。。。有最大值，且非递增，所以存在极限。。。。。。下面来求解极限熵（两边卡），先证明：(P165)根据定义：根据N维有记忆信源熵计算公式（3.43），将其逐渐分解条件熵：根据式（3.51）：等式两边除以N+k：先固定N，对k求极限；然后对N求极限。得极限值为式（3.69）= ?第五节 Markov信源的极限熵对于离散平稳有记忆信源 X的任意时刻只与前面的m个时刻有关，定义为m阶M信源的状态为：且条件概率空间完备m阶M信源的平稳性表示为：使极限熵的无限求解问题变成了求解m阶条件上熵的有限求解问题极限概率存在的条件：各态遍历各态遍历的含义： 1）各态相通，均可经历； 2）由各态历经过程产生的每个序列，都有同样 的统计特性，具有统计均匀性。极限熵的求取例3.3 m=2 , r=2。因此状态有rm = 4个: S1 ~ S4 测得一步转移概率为： 写成矩阵形式：各态遍历性的判定方法1：香农线图（有限状态机）方法2：不可约闭集，且非周期性（1）不可约：闭集中不存在闭集各态遍历的判定（2）非周期性： 所有出发状态回到该状态所需的步数不存 在公因子奇数步转移概率：偶数步转移概率：极限熵的求取1）求状态极限概率 的约束下 的唯一解。例3.3中的极限概率方程组：2）极限状态概率和转移概率求极限熵例3.4二维M信源状态稳定过程例3.4（看图计算）1）写出一步转移矩阵；2）画出状态转移图；3）判断各态遍历性；4）列出方程组，求解极限概率；5）求极限熵。第6节 信源的剩余度?剩余度 表征信源符号之间的依赖程度（记忆）。 (3.144)第7节 离散无记忆信道容量?N次扩展的离散无记忆信道容量： 符号取自同一集合X时 (3. 174) 作业 本章作业：3.7, 3.10在本人研究领域中，需找一篇利用马尔科夫链进行研究的文献，理解并制作5-10页PPT，在课堂上介绍5-10分钟。时间：第18周中。