信息论与编码锦囊.pptVIP

************学习得来终觉浅，绝知此事要自悟关于两个事件互相提供信息量的大小？直观看，两个事件在什么样的情况下给对方提供的信息量最大。1我们已经事先知道D国和美国经常唱反调，C国对美国态度保持中立，英国和美国关系很好，那么美国和某国E发生战争：I、对于英国在是否向某国E宣战，是否提供信息量？II、对于C国是否向某国E宣战，是否提供信息量？III、对于D国是否向某国E宣战，是否提供信息量？哪个提供的信息量大？提供的信息量是否有正负之分？2经常骗人的骗子是否给你提供有效的信息？3已知发送信号错误率太高，比如二进制每bit的错误率超过了百分之五十，能否提供有效的信息？4以下几类人说“狼来了”给我们提供的信息量？我们已经事先知道他是：A）诚实的人。B）经常故意骗人，说反话的人。C）故意吓唬人，闭着眼睛随便乱说话的人，不管狼来不来都乱说。5信息压缩的极限（与信息度量）假如要告知对方某种情况，而告知的情况只是n中情况之一，是否可以采用约定的编号、暗号等进行通信，这个编号最小的取值范围是多少？一个山头上的人S意欲将信息发布给对方山头上的人R，双方通过五色旗传递信息，双方可以事先约定什么颜色代表什么信号，进而对应什么样的消息。双方通过多次举旗来传递信息，假如S只是想告诉R发生了n中情况之一，怎么样可以让举起旗帜的次数最少，这个次数应该是多少？这其中有哪些现实问题需要考虑？假如对n个事件可以进行任意长度的编码，则编码的影响因素有哪些？当希望编码长度尽量短的时候应该怎么办。我们希望对消息进行编码，以求编码的平均长度最短，假如n种情况中，某一情况发生的可能性极大，概率达到99.9999999%，对于各种情况都采用相同长度的编码表示，是否存在浪费？对上面问题进行简化，考虑事件可能结果为等概率的情况，最初发生的概率均为p，则相应的可能结果数为多少？等概率事件是否应该进行等长度编码？如果是，进而采用等长度的编码，则编码长度如何计算？信息压缩的极限（与信息度量）考虑事件可能结果不是等概率的情况，是否应该进行等长度编码？如果不是，编码的长度与事件的概率应该呈什么样的关系？我们希望编码长度尽量的短，如果要求编码可以还原为唯一的事件，请问是否无限制缩短编码长度？如果不能无限缩短编码长度，编码的最短长度应该受到什么样的制约？假如我们认为在一定的条件下可以编码的编码空间为1，以所有的编码都不存在互相包含关系为例，即不存在某个编码包含另外一个完整的编码，假设n进制，长度为L的编码会占用多少的编码空间？这种编码的占用编码空间特点是否可以类推到非异前缀编码？考虑编码空间为1，则编码的各个码字长度受到什么样的制约？考虑香农辅助定理，在以上制约的前提下，理论上的平均编码长度最短应该是多少？（香农辅助定理：离散无记忆信源输出q个不同信息符号，当且仅当各个符号出现的概率相等的时候，信息熵最大。）对于任意n维概率矢量P=(p1,p2,…,pn)和Q=(q1,q2,…,qn)，下列不等式成立：010302信息压缩的极限（与信息度量）考虑信源符号间的相关性是冗余度的成因，是否可以建立相关的方式（如函数）来表征这种相关性，从而利于压缩？是否可以通过转换将欲进行限失真压缩的信源X转变为Y，然后利用这种对应关系进行编码？如何对失真进行度量？限失真编码的模型如何建立？以数字四舍五入为范例，建立数学模型。考虑对长序列的信源X转变为长序列Y会呈现什么样的特征？4.限失真编码问题5.信道编码问题（1）假设信源概率分布未知，一般会如何权宜地处理？（2）假设n进制系统错误率超过1/n，比如二进制编码的错误率超过0.5，是否可以进行一定的纠错和检错？如果可以，如何进行？（3）监督码元和信息码元在什么统计关系下，监督码元对信息码元没有如何监督效果？（4）一般不能保证错误率完全等于0，但是可以让错误率减少，不能保证完全正确地纠错的时候，这种情况下从概率统计的角度，纠错编码应该如何权宜地处理？（5）假设错误率小于1/n，则每一个监督码元监督一位消息码元，是否存在浪费？（6）我们分别考虑一个小家庭的自我救济和一个社会大家庭的内部调节的救济，问哪种救济更加有效。其中小家庭的救济就是一个家里内部积累一定的救济经费，平时不用，供各种灾难和风险到来的时候自我救济。而大家庭的救济则是许多人将同样比例的救济经费集中到一起，只有那些遇到灾难和风险的人才能使用救济经费以克服当前灾难。大家庭越大（乃至于无穷大），救济的效果会有什么趋向？大家庭的救济是否可以趋向于一个完全完美的救济，使得每一个人活着，或者是说达到必要的基本生活水平，任何人发生风险都可以几乎按需领取相应的救济费用。请问