信息论与编码_第一章.ppt

例如，甲信源为 它们的联合信源是 可计算得联合信源的联合熵： H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y) 乙信源为 6、强可加性 两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。 H（XY）=H（X）+ H（Y/X） H（Y/X）表示信源 X 输出一符号的条件下，信源Y再输出一符号所能提供的平均信息量，称为条件熵。 H（XY）=H（X）+ H（Y/X）的证明： ? H（XY）= H（X）+ H（Y/X） 7、递增性 若原信源 X 中有一个符号分割成了m个元素(符号)，这m个元素的概率之和等于原元素的概率，而其他符号的概率不变，则新信源的熵增加。 熵的增加量等于由分割而产生的不确定性量。 证明: 递增性的推广 它表示n个元素的信源熵可以递推成(n-1)个二元信源的熵函数的加权和。这样，可使多元信源的熵函数的计算简化成计算若干个二元信源的熵函数。因此，熵函数的递增性又可称为递推性。 其中累计相乘的项分子和分母会抵消只留下∑pi项 [例]：运用熵函数的递增性（的推广），计算熵函数H(1/3，1/3，1/6，1/6)的数值。 上凸函数的数学特性（ 型） x为区间[x1, x2]之间 任一点。看P18证明。 第五节 熵函数的解析性质 上凸性证明 构造函数 根据上凸性几何特征：弧线上函数值大于弦上函数值。得： Jensen不等式 x是随机变量 凸函数的数学知识 随机变量的变换再取均值 随机变量取均值再做变换 有Jensen不等式 一个重要的不等式 由Jenson不等式得到： 构造变量x(式1.52),因此： 得： 因此上凸函数存在最大值 熵函数H(P)是概率矢量P＝(p1，p2， …，pq)的严格∩型凸函数(或称上凸函数)。 证明P21. 它表示：对任意概率矢量P1＝ (p1,p2, …,pq )和P2＝ (p’1,p’2, …,p’q)，和任意的 0＜?＜1，有： H[? P十(1- ?)Q] ＞= ? H(P)十(1-?)H(Q) 因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。 2、熵函数的上凸性证明 第六节 信息熵的最大值 1、最大离散熵定理 证明1： 因为对数是∩型凸函数，满足Jenson不等式 E( f (x) ) ? f ( E ( x ) ) E[log x] ? log E[x] 则有： 证明2：条件极大值的求解 作辅助函数 求偏导后置零，得到方程组 P23 2、均值受限的最大熵值 给最大离散熵定理加一个约束条件：信源输出符号的均值受限，即 P24 均值受限的最大熵计算公式： 式（1.73） 式（1.76） 例1.6 第七节 熵函数的公理构成 了解三个公理条件： 1、关于 pi 的连续函数 2、关于 r 的单调递增函数 3、递推性 第八节 加权熵及其数学特性 加权熵是对香农“形式化”假说的补充。 她考虑了信源符号的具体含义对接受者 引起的效应因素 加权熵的数学特性 非负性；对称性；连续性；递推性；确定性；扩展性；极值性； 1、均匀性； 等概信源的加权熵等于信息熵与效用权重系数的算术平均数的乘积； 2、等重性； 当效用权重系数w 相等时，加权熵等于信息熵的w 倍（可由此得到极值性） 加权熵的数学特性 3、非容性； 若信源中所有可能发出的符号都是无效用的（无意义的），而所有有效用的符号都不可能发出，这种信源称为“不兼容信源”，它的加权熵等于0 4、同比性； 加权熵与效用权重系数同比增长。 * * * 可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。 * * * 贝尔实验室是晶体管、激光器、太阳能电池、发光二极管、数字交换机、通信卫星、电子数字计算机、蜂窝移动通信设备、长途电视传送、仿真语言、有声电影、立体声录音，以及通信网的许多重大发明的诞生地。 * * 其实，Wiener在1950年出版的《控制论与社会》一书中就曾经指出：“正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量。事实上，完全可以将消息所包含的信息解释为负熵。” * * * * 该定义的出发点是概率模型模型，没有考虑 * 第一章 单符号离散信源