信息与编码信息与编码10-4.doc

东北电力大学 教案封皮 开课单位 理学院信息与 计算教研室 课程名称 信息与编码 授课教师 常志文 授课对象 信息与计算专业121 选用教材 信息论与编码 理论（沈世镒） 总学时 60 （含课内实验10学时） 课次 10 第4章 第4~6节信道容量计算，编译码问 题与正反编码定理 教学目的 及要求 教学目的及要求： 要求学生会算法各种信道的信道容； 了解编译问题与正反编码定理。 教学重点 处理安排 教学重点： 信息容量的计算； 处理安排： 通过练习与本质分析来理解信道容量的计算。 教学难点 处理安排 教学难点： 非对称信道容量的计算； 处理安排： 参考其它书籍与资料，给出多种计算方法。 教学方式、 方法 方式（手段）：多媒体； 方法：讲授法。 教学 内容 及时 间分 配 第一节课： 4.4信道容量计算； 45 分钟 第二节课： 4.5信道的编码译码问题； 30分钟 4.6信道的正反编码定理。 15分钟 例题、练习 题 例题：对不冋类型信道给出不冋的计算容量的例题。 作业、思考 题 P106 页，4.6 4.7 题  内 容 备注 4.4信道容量的计算 4.1.1 凸函数的极大值性质 对于某个给定的信道，它们的出口分布完全由入口分布决定 ，因此 根据互信息的定义,对于入口分布 卩=(P(Ul), P(U2),…P(Ua)),我们可以 把 互 信 息 写 成 如 下 形 式：字 1 (：n)=1 (p) p(uJp(Vj ujlog _P(V U)——. 旧土 Z P(Ui)p(Vj Ui) 1丄 1 定理4.4.1 一个信道的入口分布 p* =(p*(uj,…，(p*(Us))使得输入和 输出之间的互信息1 (?;)达到最大的充分必要条件是存在一个常数 C f p(Vj Ui)log -__P(Vj Ui)——=C,对于 p*(Ui) = O, j- 送 P(U|) P(Vj Ui) 满足 b 1- 1 士 p(Vj Ui)log -__P(VUi) C,对于 p*(Ui) =0, j- Z p(U|) p(Vj U|) l -X 这时C就是这个信道的容量. 例4.4.1我们可以根定理 441来求一些信道的容量.对于图4.2.3 所示的二元擦除信 我们把其中的*改为2,则我们可以写出它的信道矩阵 Il -p 0 p c “ 1 (0P1) V 0 1 -P P丿 设入口分布是P=(p0,pj,对应的出口分布为q =(q°,q1,q2).因为 a . P(Vj)=送 P(Ui)p(Vj|Ui), i 士 为了求这个信道的容量 C,根据定理441,我们有 1—p, p 1—p, p (1_p)log +plog h _(1_p)log +plog 卩-C. q。 q2 q q? 定理441非对称信 道计算信道容量的 方法 简介其它资料上类 似计算方法。 结合例题说明  由此式我们得到q° = q 由此式我们得到q° = q ,而 1 _p 0 (…卄 _p Pi(1 — P), )], 所以我们知道 Po = 口 ,再根据上式我们得到 q0 =qi ,q2 = p. 2 2 将这些值代入定理 441中，即可得到这个信道的容量 C =1 _p. 4.1.2 凸函数的极大值性质 引理4.4.3当转移概率 P固定时，I =(p；Q)的最大值等于式 此内容为简介(4.4.2)的互信息量I =(p；P),当Q中的值可用贝叶斯公式 此内容为简介 * Pi Pj|i qi|j =P (xi yj) = ~ k 亠 Pk pjk 表达时(这时我们称之为反向信道转移概率)，达到最大值，即 max I (p;Q) = I (p; Q*) = I (p). 弓I理4.4.4如果对于任何i , j ,都有pj i ,qi j - 0 ,这时对固定的Q , 则I(p;Q)关于p的最大分布为 * i Pi s ，: i 送?k k仝 (4.4.3) 同时I (p;Q)的最大值为 * s t m?x l(p;Q) =l(p*;Q) =1 n[二exp( Pj： lnq]. p i绘 好 定理4.4.2在以上的迭计算中，当r—e：时,C(r,r)或C(r 1,r)单调地 收敛于信道容量C. 4. 5信道的编码与译码问题 定义4.5.1对信道序列C(n)，我们称 (uT,Bi(n)),i =1,2,…，Mn 是c(n)的一组8专线,如果它满足以下条件： u(n)€U⑺,它们互不相同. Bi(是V(n) —组子集,它们互不相交，也就是 Bi(n)aB：n)=?, 当i式j时，(其中?表示空 集). 对任何 i=1,2,…，Mn,有 p(n)(B(n)Ui(n))1—名成立.称式(4.5.1)中的 Mn 为呂专线的数目. 通过以下定理可以看到， 名专线与