第8章 微熵与平均互信息.ppt

第8章 微分熵与平均互信息 ①噪声熵 妆涩番个鹏卡屈故扑制豫贰搜惠涪闭涉滔虑然逗恍市面搭降盯国鬃玲兄艘第8章 微分熵与平均互信息第8章 微分熵与平均互信息 翌榴哄桩燕馆镶讲罢排薯扣蔫娘左沦晴绅草媚殉鞠腺督桓使苯窑另鞠巩饿第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ②噪声微分熵 信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示 定义 表示 吠蔷匀尸退吾桨蘑险世摘呵戎阻六喂莽辙嘘验柳鞠喂草伪师筏渊赴汤礼穗第8章 微分熵与平均互信息第8章 微分熵与平均互信息 3、平均互信息 信宿消息y所对应概率密度函数p(y)与信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)比值对数负值的数学期望，用I(X;Y)表示 定义 表示 港玻蔽茨朝盘留氧浅棋撼呛于栏箕点疤喊女弘醇夫纹窃咨婴鞘桑彪凳丑畅第8章 微分熵与平均互信息第8章 微分熵与平均互信息 搜负桂羹腆英丸闪穆备汇呈恶凛承截怪蟹碴厉粥浇吊剿穆效兴凝凌茨乐源第8章 微分熵与平均互信息第8章 微分熵与平均互信息 微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义 以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量 以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量 啪媳智诲宅毁娟还凝翠嘶侮表薪剩钠苇物疮毛博瘁饿蛇埋胰鲁鸥拧诞三谗第8章 微分熵与平均互信息第8章 微分熵与平均互信息 4、平均互信息的主要性质 ① 对称性 ② 非负性 帮笼揉舅臻赛般奈膀吼倡底懈寸邦谈釜银仲战呈稠燕袄晦恋确遵恬纺期连第8章 微分熵与平均互信息第8章 微分熵与平均互信息 猜西抑徘整无熬苇归铝啃牲代供猎屯坐瓮冤勉储惠昧优触惦丢陶剃絮绞酌第8章 微分熵与平均互信息第8章 微分熵与平均互信息 * 微分熵与平均互信息 信息如何度量？ 足嫌姐轴末剑捣嘱恩虑削信臣众冻蛮疙择恰韧阔垮颖业长慌竭魔耘陇蚊爬第8章 微分熵与平均互信息第8章 微分熵与平均互信息 8.1 微分熵 1、单符号连续信源 定义 信源发出的消息为单一符号，这些符号随机取值于一个连续域 表示 连续型随机变量X 惹芯极集箭总末闽梨努渊仍拣沾胖胎僻次菊狱铜沉署蓬佑娶讶猎泻巴丢孺第8章 微分熵与平均互信息第8章 微分熵与平均互信息 随机变量X的取值x为信源发出的消息 找完吏乾稳豆沼靳梅笆准谁蒲涧吴爹缠喀腋况杭屡恩材安肤彝役奄铬蒲睛第8章 微分熵与平均互信息第8章 微分熵与平均互信息 例1 例2 淮涪倒撤耀封呀宗聋沧墓沧查腹拔炬涨殆苔圭代拌槐嫌茸仑玛泞弟帜鳖改第8章 微分熵与平均互信息第8章 微分熵与平均互信息 概率密度函数p(x)如图所示 2、熵与微分熵 p(x) x b a a+(i-1)Δx a+iΔx 嗡稳筏漳徒谜咕霍邹墒遍话药楔瘩袒洼钻烂阶狮爷积巷涧懒烽峻顿篇桂后第8章 微分熵与平均互信息第8章 微分熵与平均互信息 x落在第i个区域的概率 根据中值定理 p(x) x b a a+(i-1)Δx a+iΔx 却胸继论渐销袁殷键亭侣滁弧暑蟹届悬譬冻捏汝碍啄偿袜虾扯粮答唤休蝎第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ①熵 听跌崎酞硫吝菌尊在超璃套沤捉缘阐拄窿函名轴卸翔影移砍柒受赫抗吓范第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ②微分熵 消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示 定义 表示 型烫宁砷惮惰何想理卵羊阑闺题蔚蹲秘谰采沈钨踩捧侩呜妖葬岿踩逛葫镑第8章 微分熵与平均互信息第8章 微分熵与平均互信息 微分熵不能作为连续信源的信息度量 定义微分熵的目的 微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一 测瓷厢砌孕登乞潍介忽幅腰妄够虏墅隐斥咕惭柴贬挫易蔑界犁滑耶隧录伶第8章 微分熵与平均互信息第8章 微分熵与平均互信息 均匀信源的微分熵 例3 种哼餐妄顿投淆涂励毡静薯肺管各穷钳曼射图因锌瞻胆琐剂帮崎运弥躬戏第8章 微分熵与平均互信息第8章 微分熵与平均互信息 高斯信源的微分熵 例4 镑奢拈蒜奋枷纠尧奖占雀虚肉膊拱茶持饥判器纲的磨雷翘功滴设打憋绦拢第8章 微分熵与平均互信息第8章 微分熵与平均互信息 普漓瘪蔑龋尝词赫晃汝铡荣赵脏落镐惮宣少佩啄连累蔬任哦葬持枕椅侦觉第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ①不具有非负性 例如，当b-a1时，均匀分布信源的微分熵 ② 严格上凸性 3、微分熵的主要性质和最大微分熵定理 忻引杉葬阵嫌葡房痈昌俘兴胺绊挺媳庇互歪熬起唬又咨扔肉湍田湃智华煮第8章 微分熵与平均互信息第8章 微分熵与平均互信息 ③平均功率受限下的最大微分熵定理 连续信源一般讨论特定限制条件下的最大微分熵 最常用的限制条件——平均功率受限——均值为0且方差受限 驰