[信息与通信]信息论 第六章.ppt

6.4 有噪信道编码定理 定理6.4 （有噪信道编码定理） 设离散无记忆信道 ， 为其信道传递概率，其信道容量为C。当信息传输率RC 时；只要码长n足够长，总可以在输入符号集中找到 个码字组成的一组码 和相应的译码规则，使译码的错误概率任意小 。 定义：n长的序列对 满足 (1) 是 典型序列; (2) 是 典型序列; (3) 对于任意小的正数 ，存在n使 称序列对 为联合 典型序列。 的典型序列集表示为 的典型序列集表示为 的联合典型序列集表示为 6.3.2 三个定理 定理 6.1 （联合渐进等分割性） 对于任意小的正数 , 当n足够大时, 则 定理6.1表明 (1) 两个随机变量情况下，信源 和联合信源 都具有渐进等分割性。随着n的增大，典型序列集出现的概率增大，且趋于等概分布。 (2) 典型序列 是扩展信道输入端高概率出现的序列； 典型序列 是扩展信道输出端高概率出现的序列； 联合典型序列对 是那些信道输入和输出间密切关联，经常出现的序列对。 定理6.2 对于任意小的正数 足够大 (1) (2) 定理6.2 表明 (1) 已知 典型序列 条件下，与 构成联合 典型序列的 的集合为 , 即左上角每一列中至多有 个黑点。 (2) 同理，已知 典型序列 条件下，其对应行在图左上角至多 个黑点。 定理6.3 若 和 统计独立并与 有相同的边缘分布，则 定理6.3表明 （1）随机选择序列对是统计独立的联合典型序列对的概率约等于 。 （2）对某一典型序列 ，与它统计独立的联合典型序列对可能有 个。 整体分析（三个定理）结论 (2) 输出端的典型序列 数共约 (3) 选择码字 的原则是，其对应的典型序列 互不重叠。 (4) 输入端可选取的最多码字数 (1) 发送某一典型序列 ，一定高概率地传送到与它构成联合 典型序列的那些序列 上, 共有 个对应的典型序列 。 当码长n增大时，如果M 数不变，显然可使 减小，因为 可增大。 * * 第6章 有噪信道编码定理 6.1 错误概率和译码规则 6.2 错误概率与编码方法 6.3*联合 典型序列 6.4 有噪信道编码定理 6.5 联合信源信道编码定理 6.1 错误概率和译码规则 通信过程并不是在信道输出端就结束了,要经过译码过程才到达消息的终端，因此译码过程和译码规则对系统的错误概率影响很大. 例如：已知二元信道 (1) 发送符号“0”, 接收到符号仍为“0”的概率是 (2) 译码时，收到符号“0”时，若译码器译为符号“0”，则正确译码的概率是 (3) 发送“0”收到“1”,译成“1”，概率为 此译码规则下，平均错误概率 发送“0”，译成“1”的概率 发送“1”, 译成“0”的概率 译对概率 新译码规则： 接收符号“0”，译成符号“1” 接收符号“1”，译成符号“0” 结论：错误概率既与信道的统计特性有 关，也与译码规则有关． 输入符号集 输出符号集 s个输出符号中的每一个都可以译成 r 个输入符号中的任何一个，共有　种译码规则可供选择． 1、定义：译码规则 　设计一个函数 　，它对于每一个输出符号　确定一个唯一的输入符号　与其单值对应， ２、平均错误概率 好的译码规则、其平均错误概率最小. 译码的条件正确概率：收到符号　　一定译成　，而发送的就是　　，为正确译码。 条件错误概率 e 表示除了　　　 以外的所有输入符号的集合。 平均错误概率：译码后平均接收到一个符号所产生的错误大小。 要使　最小，应使　　 最小，也就是使　　　　为最大。 如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的平均错误概率就能最小．称“最大后验概率准则”或“最小错误概率准则”。 选择译码函数 且满足条件: ３、最大似然译码准则 若先验概率 等概率 则选择译码函数 的条件应满足 此译码规则称“最大似然译码准则” 根据最大似然译码准则，我们可以直接根据信道