信息论与编码总复习.pptVIP

1一个不可约的、非周期的、状态有限的马尔可夫链，其k步转移概率pij(k)在k→∞时趋于一个和初始状态无关的概率，即2不论起始状态如何，这种马氏链都可以最后达到稳定，即所有变量Xk的概率分布均不变。可以用P这一矩阵充分描述稳定的马氏链。3平稳分布Wj可用下列方程组求得极限概率Wj稳定的马尔可夫信源M阶马尔可夫信源的极限熵齐次、遍历的马尔可夫信源的熵1处于状态si时符号的平均不确定性2马尔可夫信源的熵01重点掌握有干扰无记忆信道的数学描述信道容量的定义对称和准对称DMC信道的信道容量计算香农公式02一般了解信道的各种分类无干扰离散信道的信道容量信源和信道的匹配第3章信道与信道容量随机差错信道、突发差错信道按信道中的噪声种类来划分04固定参数信道、时变参数信道按信道参数与时间的关系来划分03无反馈信道、反馈信道按输入/输出之间的关系来划分02单用户信道、多用户信道按信道的用户数量来划分01离散信道、连续信道、半离散半连续信道、波形信道按输入/输出信号在幅度和时间上的取值划分05信道的分类信道模型根据干扰和记忆性分类无干扰（无噪声）信道有干扰无记忆信道有干扰有记忆信道信道模型信道的输入Xi={a1,a2,…,an}信道的输出Yj={b1,b2,…,bm}信道转移概率矩阵p(Y/X)信道输入X输出Yp(Y/X)二进制离散信道：BSC信道输入符号X取值{0,1}输出符号Y取值{0,1}01离散无记忆信道：DMC信道02输入符号集X={a1,a2,…,an}03输出符号集Y={b1,b2,…,bm}04信道模型信道模型离散输入、连续输出信道输入符号集：X={a1,a2,…,an}输出未经量化，即Y={-∞,∞}输出特性由离散输入X、连续输出Y以及一组条件概率密度函数p(y/X=ai)来决定。波形信道输入是模拟波形，输出也是模拟波形连续无记忆信道和连续有记忆信道y(t)＝x(t)＋n(t)n(t)代表加性噪声信道容量的定义信道传输率R＝I(X;Y)bit/符号信道中平均每个符号能传送的信息量信息传输速率Rt＝I(X;Y)/tbit/s信道中单位时间传送的信息量信道容量给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。I(Px)的极大值就是信道容量。离散单个符号信道01无干扰离散信道02有扰离散信道03对称DMC信道04准对称DMC信道05一般DMC信道06无噪无损信道07无噪有损信道08有噪无损信道09离散单符号信道无干扰离散信道010203无噪无损信道C=maxI(X;Y)=logn无噪有损信道C=maxI(X;Y)=maxH(Y)有噪无损信道C=maxI(X;Y)=maxH(X)STEP3STEP2STEP1对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关。如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。当信道输入符号等概率分布时，对称DMC信道达到其信道容量。对称DMC信道的性质DMC信道的容量准对称DMC信道的容量如果转移概率矩阵P的输入对称而输出不对称，则称该信道是准对称DMC信道。当信道输入符号等概率分布时，准对称DMC信道达到其信道容量C。矩阵分解法：将转移概率矩阵划分成若干个互不相交的对称子矩阵。0102DMC信道的容量一般DMC信道的容量以输入符号概率矢量Px为自变量的函数I(Px)的极大值，即信道容量。为了使I(X;Y)最大化，即求取信道容量的值，输入概率集{p(xi)}必须满足的充分必要条件是：I(xi;Y)＝C，对于所有满足p(xi)＞0条件的iI(xi;Y)≤C，对于所有满足p(xi)＝0条件的i每一个概率不为0的输入符号对输出提供相同的互信息DMC信道的容量离散序列信道及其容量信道输入X输出Yp(Y/X)X=(X1,X2,…,XL)Xl={a1,a2,…,an}Y=(Y1,Y2,…,YL)Yl={b1,b2,…,bm}独立、无记忆、平稳离散序列信道的信道容量为：无记忆离散序列信道的转移概率为：01信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为σ2的加性高斯噪声。连续单符号加性信道03输入x(t)、输出y(t)和噪声n(t)：模拟波形受加性高斯白噪声干扰的带限波形信道02