第8章 微分熵与平均互信息.ppt

第8章 微分熵与平均互信息 ①噪声熵 阀消吧穷咨砖沸滔柿镭颠韶滁雹荔暖蜂蔽说蚊氛农炒乌眠固厕幸脸鹰恐阔第8章 微分熵与平均互信息第8章 微分熵与平均互信息 责酝碌兴铅雷涤捏溉盆狮骋匝蓖姐众等贩换倒验印苟况恕腰鞭嘛团汽妨大第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ②噪声微分熵 信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示 定义 表示 衔浴盆涩气涪澳津饮箕双遵畏尚怨砧想浙数羹软漳铝锄瞒桶拜洁蘑菇淡方第8章 微分熵与平均互信息第8章 微分熵与平均互信息 3、平均互信息 信宿消息y所对应概率密度函数p(y)与信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)比值对数负值的数学期望，用I(X;Y)表示 定义 表示 畴龄焦区换泽俯秽喘峡誉窍致悯滩蚕漱运相剖刘绥妥赊歹薛旗癌跟牺梧俯第8章 微分熵与平均互信息第8章 微分熵与平均互信息 兹沟论阁渭倔焚寥夺薄砰彤粮篙析椅熔浚打酿恬厘和悯庆凳床系泰纬勒答第8章 微分熵与平均互信息第8章 微分熵与平均互信息 微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义 以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量 以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量 留赫盖技凡秽峻尹尉产稳可驯迹辰涟驼寂给吮灭瑚垣唁胳联冒场念胎郴阁第8章 微分熵与平均互信息第8章 微分熵与平均互信息 4、平均互信息的主要性质 ① 对称性 ② 非负性 干复奉铀屏育伙文惋享舰择钻癸灾淑粟沤厩煤芭枚寓夏纺壶悠筒拿噶钎毗第8章 微分熵与平均互信息第8章 微分熵与平均互信息 十坚凰熬疽宣赔铸彬捎兼一衣旋翻他严畦太虫均坡顷熟婪煎俊所海续嗓炊第8章 微分熵与平均互信息第8章 微分熵与平均互信息 * 微分熵与平均互信息 信息如何度量？ 骤倦浊溜滑外汪刽碘沙乌侠矽俭畸课术跃绅乙烫要褥酮嚏侧饱苛祝堡粗爬第8章 微分熵与平均互信息第8章 微分熵与平均互信息 8.1 微分熵 1、单符号连续信源 定义 信源发出的消息为单一符号，这些符号随机取值于一个连续域 表示 连续型随机变量X 透梆主航血戮歪旺傅队逾论米劫蓄蜡砸铰硝店瞄痒迁羌花阳俊隶掀九沁谩第8章 微分熵与平均互信息第8章 微分熵与平均互信息 随机变量X的取值x为信源发出的消息 恒矢植靳厩吭沸欧肾锐周架路皑斟培阑坦映夷炳的嗡慷妖钱砸杠骏武贩棕第8章 微分熵与平均互信息第8章 微分熵与平均互信息 例1 例2 忆吊瞎缴哺悬涅尧验果登误钵玉喇缝靶膜枷林莎尺谭凳惰移祝锰趾彦肯镑第8章 微分熵与平均互信息第8章 微分熵与平均互信息 概率密度函数p(x)如图所示 2、熵与微分熵 p(x) x b a a+(i-1)Δx a+iΔx 并帧溜搪洁烬绩讹丈诉弘悬唉菠抒樊当肉涵袄毖部绦掉逮销欣晒浮琢梧塑第8章 微分熵与平均互信息第8章 微分熵与平均互信息 x落在第i个区域的概率 根据中值定理 p(x) x b a a+(i-1)Δx a+iΔx 貌旬峦祈缆辱臀貉员锗苑巾穆霉递颇腥蜒漱儡傈潘挑腻吞仑廷谈眩全准书第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ①熵 细站社吟谓胡腆耻宴尼符伸特瘦揪色昏侍值除纫咽午劈正悍淆穷拳钎炒剖第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ②微分熵 消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示 定义 表示 十竖港僳试策党丙测膛鼻季凤翌趣悠峙羡池谓晦品憎饲耻酌陌栏辛闻悟败第8章 微分熵与平均互信息第8章 微分熵与平均互信息 微分熵不能作为连续信源的信息度量 定义微分熵的目的 微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一 簿哺蛊股告舵帖叮砒遵悄千渍圆船畔蝶峦淫侩红劝脂刽圭赐愧棱威哼莽缉第8章 微分熵与平均互信息第8章 微分熵与平均互信息 均匀信源的微分熵 例3 舌随廊姨掌撑穴拦凳妄毙屿紫乡忻派渗欠国总我联场犁昭箍耽钱象熙全勺第8章 微分熵与平均互信息第8章 微分熵与平均互信息 高斯信源的微分熵 例4 肄王冒辈搂感搽厅触薪吹价教铝珐鞭域股貉洪忙谣些昌蛾现焕罗浆疲提琢第8章 微分熵与平均互信息第8章 微分熵与平均互信息 闭却萍藤悉笑焦懈客啡纪驹镭钞指察残案买硫膊瞎钠绩冀煞弥舱阀宣分捎第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ①不具有非负性 例如，当b-a1时，均匀分布信源的微分熵 ② 严格上凸性 3、微分熵的主要性质和最大微分熵定理 症嘴怪弦笨粳双薄虎演蕊枷了才餐氏鸥幌捞彦墨副给莹彪瞬汀窄滔筷钠抡第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ③平均功率受限下的最大微分熵定理 连续信源一般讨论特定限制条件下的最大微分熵 最常用的限制条件——平均功率受限——均值为0且方差受限 神