1.信息论简介.pdf

信息论基础 赵春明 chmzhao@yahoo. cn 参考书 1．信息论—基础理论与应用， 傅祖芸编， 电子工业出版社 2．应用信息论基础，朱雪龙编， 清华大学出版社 3. Thomas M. Cover, Joya. Thomas “Elements of Information Theory” 4. Raymond W. Yeung Information Theory and Network Coding 第一章第一章 信息论简介信息论简介 什么是信息? 广义信息： 情报情报、知识、消息知识 消息 技术术语： 计算机处理中的数据、文字 科学名词： 统计数学、通信技术 – 用严格的数学公式定义的科学名词，它与 内容无关，而且不随信息具体表现形式的 变化而变化，因而也独立于形式。 –是事物运动状态或存在方式不确定性的描述。 信源 码字 消息先 消息后验概率 输出 输出 验概率 收到0 收到01 收到011 x1 000 1/8 √ × × x2 001 1/8 √ × × x3 010 1/8 √ √ × x4 011 1/8 √ √ √ x5 100 1/8 × × × x6 101 1/8 × × × x7 110 1/8 × × × x8 111 1/8 × × × 信息、消息和信号 ? 信息 – 是事物运动状态或存在方式不确定性的描述。 ? 消息 – 是指包含有信息的语言、文字和图像等 。 ? 信号 – 是消息的物理体现。 信息、物质、能量是系统的三大要素，信息 不可定义。 消息 信号 信源 码字 消息先 消息后验概率 输出 输出 验概率 收到0 收到01 收到011 x1 000 1/8 √ × × x2 001 1/8 √ × × x3 010 1/8 √ √ × x4 011 1/8 √ √ √ x5 100 1/8 × × × x6 101 1/8 × × × x7 110 1/8 × × × x8 111 1/8 × × × Shannon信息定义 信源 信道 信宿 噪声或干扰 简单通信系统框图 消除或部分消除 不知、不确定 不知、不确定 信息的特征 – 不确定性，接收者在收到信息之前，对它的不确定性 内容是不知道的； – 信息能使认识主体对某一事物的未知性或不 确定性减少； – 信息是可以量度的 不确定性度量 【例】摸球试验 甲袋共100个球，红球白球各50个；乙袋共100个 球，红、白、蓝、黑球各25个；现随意从甲袋或 乙袋中取出一球，并猜测取出球的颜色？ 事物出现某状态不确定性的大小，与该状态出现 的概率大小有关 不确定性度量 【例】气象预报 甲地：? X ? ?晴 阴 大雨 小雨? ? ? = ? ? ?p(x)? ?1/ 2,1/ 4, 1/8, 1/8 ? 乙地：? Y ? ?晴 阴 大雨 小雨? ? ? = ? ? ? p(y)? ?1/ 4,1/ 4, 1/ 4, 1/ 4 ? 事物出现某状态不确定性的大小，与该状态出现 的概率大小有关 输入 码字 消息先 消息后验概率