信息论与编码复习课..doc

“信息论与编码”复习 1．消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言，文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。 2．信息论的起源、历史与发展。 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。 3．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。 信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。 信宿需要研究的问题是能收到或提取多少信息。 信道的问题主要是它能够传送多少信息，即信道容量的多少。 4．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？ 通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。 从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。 提高可靠性：信道编码。增加冗余。 提高安全性：加密编码。 7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？ 信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同： ?不确定度是信源符号固有的，不管符号是否发出； ?自信息量是信源符号发出后给予收信者的； ?为了消除该符号的不确定度，接受者需要获得信息量。 自信息量 条件自信息量： 联合自信息量： 8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。 自信息量指的是该符号出现后，提供给收信者的信息量。 9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。 信源熵： 条件熵： 疑义度： 噪声熵： 联合熵： 11. 平均互信息量的定义及物理意义？疑义度及噪声熵？ 12. 平均互信息量的性质及理解？ 17. 信源的种类（详细分类）？各举出几个例子。 按时间和幅度分类： 离散信源 单符号离散信源 文字，数字，数据等 离散序列信源 连续信源 连续幅度信源 话音，图像，图形等 随机波形信源 按符号之间的关系： 无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 20. 信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的计算。 冗余度，表示给定信源在实际发出消息时所包含的多余信息。 它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性. 29. 信道的数学模型和分类？ 30. 信息传输速率R的定义？信道转移概率、信道矩阵和信道容量C的定义？几种离散无噪信道的C？ 31. 强对称，对称，准对称信道的含义及其C？ 式中，m为信道输出符号集中符号的数目。 强对称信道： 或： 32. 离散信道容量的一般计算方法及其步骤？ 36. 什么是最佳编码？说出Shannon、 Fano和Huffman编码的基本方法和主要特点。 37. 理解Huffman编码是最佳编码？ 40.简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则 BSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离译码小汉明距离译码。 41.信源与信道达到匹配的含义以及如何实现？信道剩余度的概念及计算？ 42.失真函数、平均失真度的定义及其含义？ 失真函数定义： 推广-〉L长序列： 平均失真度： 43.信息率失真函数R(D)