近代信息论-第四节-2.ppt

第四章 信道编码定理 3-5 主要内容 第三节：编码方法与平均错译概率 第四节： 汉明距离与编码原则 第五节：离散信道编码定理 第三节：编码方法与平均错译概率 第四节： 汉明距离与编码原则 汉明距离与最大似然准则的关系 汉明距离与最大似然准则的关系 最大似然准则可表示为： 当 即： 编码原则 在M个消息，码长N不变的前提下， 在 个可能码符号序列中，选M个作为码字，不同的选法，有不同的 ，即不同的最小误码率。 问题：如何选码，使得最小误码率最小。 编码原则 第五节：离散信道编码定理 ——Shannon第二定理 定理表述： 离散信道编码逆定理 * * recall 0 0 1 1 输入分布一定,给定信道, 可选择最大后验概率准则使得误码率最小 0.99 0.99 译码准则： F(0)=0; F(1)=1 Pe=0.01 仅靠译码规则， 一般Pe不能满足要求 一般通信要求 solution Pe与信道及译码准则有关，译码准则潜力已挖尽，考虑通过编码来改变信道特性。 例： 对于X:{0 1} 二元信源 ,编码：1—111 0—000 0 0 1 1 0.99 0.99 设等概输入， 采用最大似然准则，即挑选每列中最大者来译码。 译码规则： 使： 结论：可通过编码来改变信道特征，使得最小误码率减小 back 例： 显然，相当于对应位异或后求和 0 0 1 1 正确传递的概率 错误传递的概率 另一方面 依据最大似然准则， 汉明距离 最大似然准则可表示为—— 0p0.5 时，有 计算该准则下的误码率： or 在 个可用码符号序列中，选择M个码字，使得这M个码字中任两个不同码字间的距离尽量大。 即： 例： back 证明 设某信道有r个输入符号，s个输出符号，信道容量C，当信道的信息传输率（码率）RC时，只要码长N足够长，总可在输入的集合中（含有 个长为N的码符号序列）找到 个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则，使信道输出的平均误码率Pemin达到任意小。 证明 设单符号错误概率p(1|0)=p(0|1)=p (1) (2) 示意图 示意图 译码方法 出错的原因 于是， (3) 由概率论及大数定理 可递推法证明 因此： (4) 随机编码 例：N=2, M=2, 如果按随机编码，Pe需对所有 种码取平均，方可得平均Pe 其中： (5) 其中： (6) 二进对称信道：C=1-H(P) (7)