9-信息论与编码-总复习.ppt

信息 定义：信息是该事物运动的状态和状态改变的方式。 认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。 全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息。 语法信息：事物运动状态和状态改变的方式； 语义信息：事物运动状态和方式的具体含义； 语用信息：事物运动状态和方式及其含义对观察者的效用价值。 研究信息论的目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 单符号离散信源 自信息量 设离散信源 X，其概率空间为 如果知道事件 xi 已发生，则该事件所含有的自信息定义为 当事件 xi 发生以前：表示事件 xi 发生的不确定性。 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi)p(yj) 条件自信息量：已知 yj 的条件下 xi 仍然存在的不确定度。 自信息量、条件自信息量和联合自信息量之间的关系 互信息量： yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。 观察者站在输出端：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。 观察者站在输入端： 观察者得知输入端发出 xi 前、后对输出端出现 yj 的不确定度的差。 观察者站在通信系统总体立场上：通信后的互信息量，等于前后不确定度的差。 平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。 信源熵的三种物理含义 信源熵 H(X) 是表示信源输出后每个消息/符号所提供的平均信息量； 信源熵 H(X) 是表示信源输出前，信源的平均不确定性； 用信源熵 H(X) 来表征变量 X 的随机性。 条件熵：是在联合符号集合 XY 上的条件自信息的数学期望。 信道疑义度—H(X/Y)：表示信宿在收到 Y 后，信源 X 仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。 噪声熵—H(Y/X)：表示在已知 X 的条件下，对于符号集 Y 尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。 联合熵 H(XY)：表示输入随机变量 X，经信道传输到达信宿，输出随机变量 Y。即收、发双方通信后，整个系统仍然存在的不确定度。 最大离散熵定理 (极值性) ：离散无记忆信源输出 n 个不同的信息符号，当且仅当各个符号出现概率相等时 (即p(xi)=1/n)，熵最大。 H[p(x1),p(x2),…,p(xn) ]≤H(1/n,1/n,…,1/n)=log2n 出现任何符号的可能性相等时，不确定性最大。 二进制信源的熵函数 H(p) 为 平均互信息量定义：互信息量 I(xi;yj) 在联合概率 P(XY) 中的统计平均值。 1. 站在输出端：I(X;Y)—收到 Y 前、后关于 X 的不确定度减少的量。从 Y 获得的关于 X 的平均信息量。 2. 站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定度减少的量。 3. 站在总体：I(X;Y) —通信前、后整个系统不确定度减少量。 BSC信道的平均互信息量 设二进制对称信道的输入概率空间为 转移概率如图2.1.8所示。 平均互信息量 当 q 不变 (固定信道特性) 时，可得 I(X;Y) 随输入概率分布 p 变化的曲线，如图2.1.9所示；二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。 当固定信源特性 p 时，I(X;Y) 就是信道特性 q 的函数，如图2.1.10所示；当二进制对称信道特性 q=/q=1/2时，信道输出端获得信息量最小，即等于0。说明信源的全部信息信息都损失在信道中了。这是一种最差的信道。 离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源X 的熵的 N 倍，即 H(X)=H(XN)=NH(X) 离散平稳信源：各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。 1. 二维离散平稳信源的熵为 H(X)= H(X1X2) = H(X1)+ H(X2/X1) 2. N维离散平稳信源的熵为 H(X)= H(X1X2…XN-1XN) = H(X1)+ H(X2/X1)+ H(X3/X1X2)+…+ H(XN/X1X2…XN-1) 平均符号熵：信源平均每发一个符号提供的信息量为 离散平稳有记忆信源的极限熵：当 N→∞ 时，平均符号熵取极限值称之为极限熵或极限信息量。用 H∞表示，即