信息论与编码习题课新.pptVIP

解：(1)PART1CBA联合概率后验概率H(Y/X)==bit/symbol（3）当接收为，发为时正确，如果发的是则为错误，各自的概率为：则错误概率为：从接收端看平均错误概率为：从发送端看的平均错误概率为：能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。（7）bit/symbolH(X/Y)=bit/symbol单击此处添加大标题内容解：（1）3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？（3）202X解：信道容量3-12有一个二元对称信道，其信道转移概率如下图所示，该信道以1500个二元符号/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？不能无失真的传输为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间每个二元符号的信息量由于第四章信息率失真函数R(D)：平均失真：失真函数：R(D)函数的定义域：R(D)函数的性质：下凸性、连续性、单调递减性信息率失真函数与信道容量的比较。4-1设有一个二元等概率信源与信道转移概率，通过一个二进制对称信道（BSC）。试求失真矩阵d和平均失真其失真函数。分别定义为解：由题意得，添加标题平均失真为01添加标题，信道转移概率矩阵为P失真矩阵为d02信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？

第一章

第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法?冗余度?010402050708添加标题具有概率为添加标题条件自信息量：添加标题的符号添加标题平均自信息量、平均不确定度、信源熵：添加标题联合熵：添加标题互信息：030609添加标题自信息量：添加标题条件熵：添加标题熵的基本性质：非负性、对称性、确定性单击此处添加大标题内容解：(1)2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：“3和5同时出现”这事件的自信息；“两个1同时出现”这事件的自信息；两个点数的各种组合（无序）对的熵；两个点数之和（即2,3,…,12构成的子集）的熵；两个点数中至少有一个是1的自信息量。111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是两个点数的排列如下：其他15个组合的概率是(4)两个点数求和的概率分布如下：包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6),01(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}022.7设有一离散无记忆信源，其概率空间为求每个符号的自信息量。信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量。1解：2同理可以求得3因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和，就有：平均每个符号携带的信息量为bit/符号2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息：{0,1,2,3}八进制脉冲可以表示8个不同的消息：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平