信息论与编码第三章信源及信源熵.ppt

英文信源：（q=26个字母+1空格） H0=4.76 H1=4.03 H2=3.32 H3=3.1 ……… H5=1.65 =1.4 5. 信源的相关性和剩余度（续2） 单符号信源 连续信源 多符号信源 信源分类 第三章：信源及信源熵 说明，写英文文章时，71%是由语言结构规定好的，是多余的成分，只有29%是写文章的人自由选择的。100页的英文书，理论上仅有29页是有效的 正是由于这一多余量的存在，才有可能对英文信源进行压缩编码。如果适当编码，传递或存储这些符号时，可大量压缩篇幅。 英文 法文 德文 西班牙文 中文 （按8千汉字计算） 5. 信源的相关性和剩余度（续3） 单符号信源 连续信源 多符号信源 信源分类 第三章：信源及信源熵 例 3.7： 计算汉字的剩余度。假设常用汉字约为 10000个，其中 140 个汉字出现的概率占 50%， 625个汉字（含140个）出现的概率占 85%，2400个汉字（含625个）出现的概率占 99.7%，其余 7600个汉字出现的概率占 0.3%，不考虑符号间的相关性，只考虑它的概率分布，在这一级近似下计算汉字的剩余度。 5. 信源的相关性和剩余度（续4） 单符号信源 连续信源 多符号信源 信源分类 第三章：信源及信源熵 解：为了计算方便，假设每类中汉字出现是等概的，得表 类别 汉字个数 所占概率 每个汉字的概率 1 140 0.5 0.5/140 2 625-140=485 0.85-0.5=0.35 0.35/485 3 2400-625=1775 0.997-0.85=0.147 0.147/1775 4 7600 0.003 0.003/7600 H1=H(X) =9.773 bit/汉字 H0=13.288 bit/汉字 5. 信源的相关性和剩余度（续5） 单符号信源 连续信源 多符号信源 信源分类 第三章：信源及信源熵 从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。 5. 信源的相关性和剩余度（续6） 母亲病X，身体健康 母病X 信源编码是减少或消除信源的剩余度以提高信息的传输效率 信道编码则通过增加冗余度来提高信息传输的抗干扰能力 一：信源的分类及其数学模型 二：离散单符号信源 三：离散多符号信源 四：连续信源 1. 连续信源的微分熵 2. 连续信源的最大熵 3. 连续信源的熵功率 第三章：信源及信源熵 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 离散： （一）数学模型 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续1） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续2） （二）H(X)：信息熵 量化分层 连续 离散 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续3） p(x) -1 -0.5 0 0.5 1 x 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续4） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续5） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续6） 微分熵： h(X) 又称为差熵 确定值部分 无限大常数项 同样，我们可以定义两个连续随机变量的联合熵： 及条件熵 并且它们之间也有与离散随机变量一样的相互关系： 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续7） 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续8） 例3.8：求均匀分布的随机变量的微分熵： 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续9） 微分熵无非负性，可为负值 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵 1. 连续信源的微分熵 （续10） 例3.9：求高斯分布的随机变量的微分熵： 单符号信源 多符号信源 信源分类 连续信源 第三章：信源及信源熵