信息论的基础.pdf

[General Information] 书名=信息论基础 作者=田宝玉 页数=276 SS号 出版日期=2008.8 前言 目录 第1章 绪论 1．1信息的基本概念 1．1．1信息论的产生 1．1．2信息的基本概念 1．2香农信息论研究的内容 1．2．1通信系统模型 1．2．2香农信息论的主要内容 1．3香农信息论研究的进展与应用 1．3．1香农信息论创立的背景 1．3．2香农的主要贡献 1．3．3香农信息论的研究进展 1．3．4香农信息论的应用 思考题 第2章 离散信息的度量 2．1自信息和互信息 2．1．1自信息 2．1．2互信息 2．2信息熵 2．2．1信息熵的定义与计算 2．2．2条件熵与联合熵 2．2．3熵的基本性质 2．3平均互信息 2．3．1平均互信息的定义 2．3．2平均互信息的性质 2．3．3平均条件互信息 本章小结 思考题 习题 第3章 离散信源 3．1离散信源的分类与数学模型 3．1．1离散信源的分类 3．1．2离散无记忆信源的数学模型 3．1．3离散有记忆信源的数学模型 3．2离散无记忆信源的熵 3．2．1单符号离散无记忆信源的熵 3．2．2离散无记忆信源N次扩展源的熵 3．3离散平稳信源的熵 3．3．1离散平稳信源 3．3．2离散平稳有记忆信源的熵 3．4有限状态马尔可夫链 3．4．1马氏链基本概念 3．4．2齐次马氏链 3．4．3马氏链状态分类 3．4．4马氏链的平稳分布 3．5马尔可夫信源 3．5．1马氏源的基本概念 3．5．2马氏源的产生模型 3．5．3马氏链N次扩展源的熵的计算 3．5．4马氏源符号熵的计算 3．6信源的相关性与剩余度 3．6．1信源的相关性 3．6．2信源剩余度（冗余度） 3．6．3自然语言的相关性和剩余度 本章小结 思考题 习题 第4章 连续信息与连续信源 4．1连续随机变量集合的熵 4．1．1连续随机变量的离散化 4．1．2连续随机变量集的熵 4．1．3连续随机变量集的条件熵