信息科学基础-----复习讨论2.ppt

题型重点 章节内容 概率论：重点3，见习题1 熵和自信息：重点1，见复习讨论2 马尔可夫信源：重点 连续信源的微分熵：1道计算题 信源编码：重点2 ，见复习讨论3 Haffman编码：重点 信道编码：重点2 ，见复习讨论4 信道容量计算：重点 必威体育官网网址学基础：非重点，见复习讨论8 题型： 少量填空、简答、选择 计算题为主。 信息科学基础-绪论 通信系统的基本模型 ? 信源是产生消息(或消息序列)的源，消息通常是符号序列或时间函数。 信道：传输信号的媒质或通道 信宿：消息的接收方。 信源编码：将信源产生的消息变换为一个数字序列(通常为二进制数字序列)，通过压缩信源消息冗余度来提高信源发送速率。 信道编码：通过对输入消息进行编码，引进冗余度提高信息传送的可靠性。 加密编码：通过密钥控制，将明文变换成不可读的密文，使得信道上的窃听者无法获得有关明文的任何信息。 熵和自信息量 概念、定义 自信息量： 联合自信息量 条件自信息量 信息熵H ：自信息的数学期望 联合熵： 条件熵： 熵的性质 1.H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y) 当X，Y相互独立，有： H(Y|X)=H(Y) ，H(X|Y) =H(X)，此时H(X,Y)=H(X)+H(Y)。 2.极值性。即 最大离散熵定理:等概率分布时，熵达到极值。对具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值。这也表明等概率分布信源的平均不确定性为最大。 信道疑义度H(X|Y) 平均互信息 噪声熵或散布度H(Y|X) 一些关系式 信源熵、互信息之间的关系： 离散信源的几个基础概念 发出单个消息、发出连续消息 无记忆：信源发出的符号之间彼此统计独立。 有记忆： 平稳源：信源输出符号序列的概率分布和起点无关。 有限记忆源：信源在l时刻的输出只和前面有限个随机变量有关 M阶马尔可夫源：信源在l时刻的输出只和前面m个随机变量有关。 普通马尔可夫源：m＝1。 信源状态：已发出的长度为m的前导符号序列。 齐次马尔可夫源：条件转移概率和时间起点i无关。 稳态马尔可夫源：n＋1时刻的状态分布和n时刻的状态分布一样。 离散无记忆信源的序列熵 对无记忆信源， 这时，信源的序列熵为 若又满足平稳性，即与序号l无关时，有 则信源的序列熵可以表示为H(X)=LH(X)，平均每个符号熵为： 可见，离散无记忆平稳信源平均每个符号的符号熵 就等于单个符号信源的符号熵H(X)。 离散有记忆信源的序列熵 平稳随机序列：信源所发符号序列的统计特性（概率分布）与时间起点无关。 对于平稳信源，其条件概率也均与时间起点无关，只与关联长度N有关。 L长序列平均每个符号的熵： 当信源退化为无记忆时，有： 如果进一步又满足平稳性，有： 离散有记忆信源的序列熵 于是有： ：等概率无记忆信源单个符号的熵 ：一般无记忆信源单个符号的熵 ：两个符号组成的序列平均符号熵 …… 信源的冗余度： 马尔可夫信源 1。 时刻，信源发出符号 后，由符号 组成了新的信源状态 2。一步转移概率 :信源所处的状态由 转移到 的转移概率，可由条件概率 确定，表示在 的情况下，经一步转移到状态 的概率。对于齐次马尔可夫链，一步转移概率具有推移不变性 3。状态转移概率是一个矩阵，每行元素之和均为1； 第 列元素对应与从所有状态 转移到同一个状态 的转移概率 马尔可夫信源 连续信源的互信息和微分熵 联合熵和条件熵： 凸函数和互信息的凸性 定理1：当条件分布p(y|x)给定时，平均互信息I(X;Y)是输入信源的概率分布p(x)的n型凸函数。 当固定某信道时，选择不同信源（其概率分布不同）与信道进行连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每个固定信道，一定存在某种信源（某种概率分布p(x) ），使得输出端获得的平均信息量为最大（因为n型凸函数存在最大值）。 定理2：当输入分布p(x)给定时，平均互信息I(X;Y)是信道传递概率分布p(x)的u型凸函数。 当信源固定后，选择不同信道（其概率分布不同）传输信源符号时，在信道输出端获得的关于信源的信息量是不同的。且对于每个固定信源，一定存在某种最差的信道（某种概率分布p(y|x) ），此信道的干扰、噪声最大，从而输出端获得的信息量最小（因为u型凸函数存在最小值）。 例题 讨论题 2-1设有12枚同值硬币，其中有一枚为