信息论与编码复习2.docVIP

“信息论与编码”复习 信息的分类 按照性质，信息可以分为语法信息、语义信息和语用信息。 按照地位，信息可以分成客观信息和主观信息。 按照作用，信息可以分成有用信息、无用信息和干扰信息。 按照携带信息的信号性质，信息可以分成连续信息、离散信息和半连续信息等。 单符号离散信源的数学模型 自信息量、联合自信息量、条件自信息量 不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。 互信息量和条件互信息量 两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西 性质：（1）对称性（2）当X和Y相互独立时，互信息为0 （3）互信息量可为正值或负值 (2.1.13) 信源熵、条件熵、联合熵 （2.1.16） 信源熵的物理含义： 信源熵H(X)表示信源输出后，平均每个离散消息所提供的信息量； 信源熵H(X)表示信源输出前，信源的平均不确定度； 信源熵H(X)反映了变量X的随机性。 （信道疑义度，损失熵） （噪声熵） 熵的基本性质： 非负性;(2)对称性；（3）最大离散熵定理；（4）扩展性；（5）确定性；（6）可加性；（7）极值性 平均互信息量 表示收到Y前后关于X的不确定度减少量。 表示发X前后关于Y的不确定度减少量。 说明信道两端随机变量X和Y之间的平均互信息量等于通信前后整个系统不确定度减少的量。 性质：（1）对称性 说明：对于信道两端的随机变量X和Y，由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。 非负性 说明：从整体和平均的意义说，信道每传递一条消息，总能提供一定的信息量，或者说接收端每收到一条消息，总能提取到关于信源X的信息量，等效于总能使信源的不确定度有所下降。 极值性 说明从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。 凸函数性 平均互信息量是输入信源概率分布的上凸函数；是信道转移概率分布的下凸函数。 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 多符号离散信源的熵 序列信息的熵 离散平稳信源的熵 平均符号熵： 极限熵 马尔可夫信源的定义，含义及其极限熵 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。 信源熵的相对率和冗余度 （相对率） 10、Shannon第一定理—离散无失真信源编码定理（定长和变长）及含义？ 克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。 无失真信源编码定理 定长编码定理： 反之 信息率 编码率 变长编码定理： 对离散无记忆信源，消息长度为L，符号熵为H(X),对信源进行m元变长编码，一定存在无失真的信源编码方法， 其码字的平均长度满足 其码字的平均信息率R满足 信道分类 无记忆信道和有记忆信道；有干扰信道和无干扰信道；单符号信道和多符号信道；单用户信道和多用户信道；连续信道、半离散信道和离散信道 信道容量 强对称，对称，准对称信道的含义及其C 如果一个信道矩阵具有可排列性，则它所表示的信道称为对称信道 强对称信道：总的错误概率是 p，对称平均地分配给(n－1)个输出符号. 信道矩阵中每行之和等?? 1，每列之和也等于 1。一般信道矩阵中，每列之和不一定等于 1。 准对称信道：一个 n 行 m 列单符号离散信道矩阵 [P] 的行可排列，列不可排列。但是矩阵中的 m 列可分成 S 个不相交的子集，各子集分别有m1,m2,…,ms个元素(m1+m2+…+ms=m)，由 n 行 mk(k=1,2,…,s) 列组成的子矩阵 [P]k 具有可排列性。 14、信道编码定理：若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,总能找到一种编码。当L足够长时，译码差错概率 为任意正数，反之，当RC,任何编码的，Pe必大于0，当L ∞,pe1 15、失真函数、平均失真度的定义及其含义 失真函数定义： 平均失真度： 16、信息率失真函数R(D)的定义、性质及其含义？R(D)与C的比较 17、