对信息熵的探讨.pdfVIP

下载本文档

4
0
约7.49千字
约 3页
2019-09-28 发布于广东
举报
版权申诉

对信息熵的探讨.pdf

1、本文档共3页，可阅读全部内容。
2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

第3 卷第 1 期辽宁高职学报 Vol.3, No. 1 2001 年 2 月 LIAONING HIGHER VOCATIONAL TECHNICAL INSTITUTE JOURNAL Feb. 2001 文章编号：1009—7600 （2001）01—0059—03 对信息熵的探讨敖红（抚顺职业技术学院，辽宁抚顺：113006）摘要：阐述了熵在信息论中的意义，并分别用信息源的随机变量数和几率推导出信息熵与物理熵具有统一表达式。关键词：信息熵；物理熵中图分类号：G 201 文献标识码：A 信息作为科学的概念，有它自身的特殊性，有着确切的含义，并可定量度量。熵最初作为热力学中的一个十分重要的态函数有着确切的物理意义。现如今，它的应用已远远超出这一范畴，广泛运用到信息论、控制论等其它领域中。由此而出现了信息熵。笔者研究发现，信息熵并没有脱离物理熵而单独存在，它和物理熵可用一统一表达式来表示，它们具有一定联系。 1．信息熵的意义信息源（简称信源）是产生消息（或符号）和消息序列的源。以一个最简单的离散信源X 为例，其概率空间（既信源的数学模型）X : x 1 ,x 2 , L x i , L , x q ,其中p 是事件x 将要发生的几率。如 i i P : p 1 , p 2 , L , p i , L ,p q [1] 果事件x 已经发生，则该事件含有的信息量即自信息为I （x ）= ﹣kInp ，则信源的平均信息量 i i i 为 q H(X)= ﹣K P InP (1) i i i1 这就是信源的信息熵，它是表征信源总体特征的一个量，具有以下意义。 1.1 信息熵表示信源输出每个消息或符号所提供的平均信息量. 如果一个电码由q 种符号组成，每种符号相对出现的几率为pi ，一个电码携带着一定的信息， q 则平均每种符号携带的信息量为 –K P InP , 这正是该信源的信息熵。 i i i 1 1.2 信息熵表示信源输出消息前信源的平均不确定性 X : x1 x2 Y: y 1 y 2 有两个离散信号源X 、Y ，其概率空间分别是P : 0.99 0.01 ,p : 0.5 0.5 ，两信源的信息熵分别