信息论与编码-复习.pptVIP

信息论与编码复习 第1章 概论 掌握通信系统的基本模型； 掌握信息论的研究内容。 第2章 信源熵 概念： 自信息量 平均互信息量 熵功率 信源冗余度 定理 离散信源的最大熵定理 限平均功率的连续信源的最大熵定理 离散信源的无失真定长编码定理 离散信源的最佳变长编码定理 第二章——续 计算： 某个事件发生后对外提供的自信息量（例如作业：2.1，2.4（1），2.15（2），2.18（自信息量的综合应用）） 某个单符号信源的熵（例如作业：2.5（3）（4），2.17（1）） 序列信源的熵（例如作业：2.15（3）） 对于一阶和二阶马尔可夫信源： 会计算达到稳态时的状态概率分布（作业2.16（1））和极限熵（作业2.16（2），2.17（2）和p48 例2.2.4）； 给定状态转移概率，会画状态转移图，反之亦要求。 第二章——续 计算： 信源冗余度的计算（作业2.17（3）） 根据给出的离散信源，能够进行定长编码，求出码字。 掌握信源编码器的性能指标（编码效率η）及其与码长（k）之间的关系。 已知一个非高斯信源的熵H， 能够求出高斯信源达到此熵所需的功率 求出此高斯信源的概率密度函数 第3章 信道容量 概念与定理： 掌握信道容量的概念和用途 掌握什么是信道编码定理。 掌握限带的连续信源的信道容量 第3章 信道容量 计算： 对称离散无记忆信道的容量的求解和应用 如课后作业4.6 准对称信道的容量的求解和应用。 第3章 信道容量 计算： 均匀信道容量的求解：已知一个信源有n个符号，传输的正确概率为p，错误概率均匀的分配给其余的符号，求 该信道的转移概率矩阵 求该信道的信道容量 第3章 信道容量 掌握离散无记忆信道的N次扩展信道的容量的求解 无噪信道的容量：见作业3.14 应用连续信道的信道容量公式进行解题 连续信道的容量 所需的信号功率 如作业3.19,使用公式 注意： C就是信号的传输速率 dB表示的信噪比在代入时要进行转换 第3章 信道容量 计算 带宽无穷大时连续信道的容量 带宽无穷大时，连续信号传输所需的信号功率 如作业3.20： 注意： 噪声功率有时并不直接给出，而是给出噪声功率谱密度N0和带宽B,则N= N0B 第4章 信息率失真函数 概念和定理： 掌握保真度准则下的信源编码定理 掌握信息率失真函数的概念、是信源的特性、有哪些应用 计算： 对于离散信源(如作业4.1(1))： Dmax,R(Dmax)，及达到Dmax时对应的信道转移概率分布 第j*列 (1) (2) (3) 第4章 信息率失真函数 计算： 对于离散信源(如作业4.1(2))： Dmin,R(Dmin)，及达到Dmin时对应的信道转移概率分布 P(Y/X):失真矩阵每行最小的元素对应的位置的转移概率才为1，其它为0 (1) (2) (3) 第4章 信息率失真函数 计算： 对于离散信源(如作业4.1(3))： R(D)的计算、R(D)与D的关系图 只要求等概信源，对称失真的R(D),见P120 (4.2.50式) 关系图见P109 图4.1.1（注意区分离散和连续信源），所取的点的纵坐标根据R(D)的计算式求得 第4章 信息率失真函数 计算： 对于连续信源（例：课堂上讲的两个例子） 失真函数为均方失真时，给定的连续信源的Dmax和R(D)的计算。 失真函数是绝对失真时，给定的指数分布信源的Dmax和R(D)的计算。 第4章 信息率失真函数 第5章 信源编码 掌握最佳变长信源编码定理。 计算： 给定一个离散信源： 能进行二进制香农编码 二/三进制费诺编码 二/三哈夫曼编码 等长编码 平均码长、编码速率和编码效率。 第6章 信道编码 概念和定理： 信道编码的作用 计算： 对于线性分组码 已知G,会求码字：例p176 6.2.2 已知G，会求GS和HS:例：p177 6.2.3 能够进行伴随式译码:例：步骤见p178，课件中有具体的例子 计算： 对于循环码，已知（n,k）循环码 会求g(x),并根据g(x)求G， 例p191-192 6.3.3,p193 6.3.4 会求h(x)=(xn+1)/g(x),并根据h(x), 例p193 6.3.4 会求系统循环码码字:由G经过初等行变换得Gs,再通过C=mGS得系统循环码码字 变换方法见p177 6.2.3 第6章 信道编码 计算： 对于循环码，已知（n,k）循环码 会使用伴随式进行校验，即根据接收的向量r进行判断 方法1：s=rHT,看s是否为0，非零则说明有差错 方法2：s(x)=r(x)mod g(x)，看是否有余数，有则说明有差错 例p200 (6.3.16式) 能画出一般循环码的数字编码电路图：例p196 图6.3.4 能够通过分析电路的运行过程，