网站大量收购独家精品文档,联系QQ:2885784924

信息及其度量教学课件.pptx

  1. 1、本文档共9页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

题目:信息及其度量

导入通信:信息的传输和交换。信息量如何传递?传递多少?如何度量?

?信息的度量:大学生20岁结婚的大学生0多确定事件不确定性多概率P=1P小信息量就是不确定性的多少。信息量可用概率(可能性)来度量。

信息的度量:取a=eI:nat奈特取a=10I:Hartley哈特莱取a=2I:bit比特●信息量I是概率P(X)的函数:I=f[P(X)]()(log)logxpxp1Iaa-==(b)离散消息x的信息量??2.独立相加性3.乘除运算→加减运算I[p(x1)p(x2)…]=I[p(x1)]+I[p(x2)]+…1.P越小,I越大;P→1时I→0P→0时I→∞

讨论等概率非等概率

M=2kM进制的每个码元含log2M=kbit等概率二进制信源(0,1)例1四进制信源(0,1,2,3)例2求:等概独立发送符号时,每个符号的信息量?解:P(0)=P(1)=1/2解:P(0)=P(1)=P(2)=P(3)=1/4推广到多进制I0=I1=log22=1bIi=log24=2b

解:已知P(0)=1/3且P(0)+P(1)=1?二进制信源(0,1),每个符号独立出现,若“0”出现的概率为1/3,求每个符号的信息量?.非等概率例3:P(1)=2/3概率不同时,信息量也不同;概率越小(不确定性大)的符号,信息量越大;个符号信息量?反映单个符号的不确定性不确定性越多,发生的概率越小,信息量就越大。平均信息量信息熵标题文本预设归纳总结:

谢谢大家!THANKS~

文档评论(0)

152****9952 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档