信息熵和其应用.ppt

平均信息熵及其应用 丁 勇 南京医科大学数学教研室 信息能否度量 ？ 信息熵(entropy )的概念 设离散型随机变量X的概率分布为 X的信息熵定义为“加权平均信息量” 信息熵的直观意义 熵的性质 连续非负性 对称性 扩展性 可加性 极值性： 1948年，Shannon提出了熵的概念，并以此作为信息的度量，宣告了信息论作为一门科学学科的诞生。 近年来，随着计算机应用的发展和信息时代的来临，信息论理论和应用的研究更显示出其重要意义。 应用1：识别假币 应用2：熵与参数估计的似然函数 应用3：群体遗传学 Hardy–Weinberg 平衡(H–W平衡)定律 问题的提出 在信息论中，如何评价信源提供信息量的多少，是一个值得探讨的问题。 现在用的是相对率的概念，是以信息熵与最大信息熵之比 作为依据的。 问题：该值多大才算提供较多的信息量？ 问题的设想 提出平均信息熵作为评价依据。 问题的解决 提出了平均信息熵的概念 推导了计算公式、性质 给出了应用：作为信源提供信息量多少的评价依据。 平均值概念的推广 平均信息熵的定义 平均信息熵公式 公式： 与调和级数有关 平均信息熵的性质 平均信息量至少 占最大值72% 平均信息熵的性质 平均信息熵的性质 平均信息熵的性质 随机变量X的函数f(X)的平均信息熵： 当f为单调函数时， 平均信息熵的性质 等值面 平均信息熵的性质 应用1：食物营养价值的评价 食物中蛋白质的氨基酸种类多、组成复杂，营养丰富，对机体的生长发育有利，我们可根据蛋白质的氨基酸组成比率计算信息熵，并与平均信息熵比较，作为评价营养价值的一个依据 稻米中8种氨基酸营养当量X分布表 苏氨酸 0.049 缬氨酸 0.120 蛋氨酸 0.113 异亮氨酸 0.113 亮氨酸 0.115 苯丙氨酸 0.134 赖氨酸 0.08 色氨酸 0.231 稻米中 大部分氨基酸可在人体内合成，但这8种氨基酸需从食物中摄取，可知稻米的营养价值是非常丰富的 。 应用：基因信息熵 根据四个碱基出现的概率，7个物种细胞色素C基因的信息熵如下表，由表可知，无论是高等生物还是低等生物，其信息熵都远大于平均信息熵 Human 1.9966 Chicken 1.9886 Yeast 1.9817 Rat 1.9699 Mouse 1.9599 Bovine 1.9582 D.melangaster 1.9529? 应用：英文字母信息熵 计算机键盘设计参考了英文字母在文章中出现的频率，根据英文26个字母及空格出现的频率，可求出其信息熵（bit）为 抛砖引玉 如何将本问题推广到连续性随机变量？ 谢谢！ 等值面外的点组成一个凸集 王德仁，等．施氮对稻米蛋白质、氨基酸含量的影响[J]．植物营养与肥料学报．2001，7（3）：353-6 LIMBACH,K.J. WU, R. Isolation and characterization of two alleles of the chicken cytochrome c gene [J]. Nucl. Acid Res. 1983(11):8931-8941 NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M. et al. Isolation of a cDNA clonefor human cytochrome c:from a gt11 expression library [J]. Biochemical and Biophysical Research communications, 1987(145):34-44 由此可知，大自然基因的“天书”信息量更丰富，比人类用英文字母写的文章更复杂，读懂它任重而道远。 * 物质、能量和信息是构成客观世界的三大要素。 信息（information）是什么? 至今信息还没有一个公认的定义 一般定义：常常把消息中有意义的内容称为信息。 认识问题的过程： 当我们对一问题毫无了解时，对它的认识是不确定的，在对问题的了解过程中，通过各种途径获得信息，逐渐消除了不确定性，获得的信息越多，消除的不确定性也越多。我们可以用消除不确定性的多少来度量信息量的大小。 例：会堂有20排、每排20个座位。找一个人。 甲告诉