信息电子学院-实验指导书格式信息论.doc

PAGE PAGE 11 《 — 信息论基础—》 实 验 指 导 书 童基均 编 写 适用专业： 通信工程 浙江理工大学信息电子学院 二○○八年三月 前 言 信息论是现代通信与信息工程的理论基础。作为电子信息科学与技术专业本科生的学科基础课，本课程主要讲授：信息的定义和测度、信源和信息熵、连续熵和信息变差、信道和互信息、平均互信息和信道容量、数据处理和信息测量理论、无失真信源编码理论和编码方法等内容。 本课程按“单符号离散信息系统”、“多符号离散信息系统”、“连续信息系统”三个“系统”层面，逐步深入展开，以严密的数学分析贯串始终。通过教学，使学生掌握信息理论的基本概念和信息分析方法，为今后进一步研究信息科学和信息技术打下坚实的理论基础。 实验一： 离散信道容量的迭代计算 实验学时：3 实验类型：（演示、验证、综合、√设计、研究） 实验要求：（√必修、选修） 一、实验目的 通过本实验的学习，理解和掌握信道容量的概念和物理意义；了解信道容量的计算方法尤其是迭代计法；采用计算机编程实现迭代算法。 二、实验内容 信道容量的概念和物理意义； 信道容量的计算方法； 采用计算机编程实现信道容量的计算 三、实验原理、方法和手段 1．离散信道的物理模型为： 信道容量定义为平均互信息的最大值：。 2．信道容量表征了一个信道传送信息的最大能力，实际中传送的信息量小于信道容量，否则传送过程中出现错误。 3．由信道容量的定义可知，I(X,Y)的值由信道的传送概率决定的，因而信道的传递概率决定了信道的信道容量。给定了信道的传递概率，可以通过推导方法求得信道的信道容量，一般可以求出传递效率达到信道容量时候的输入信号的分布，但是这种方法不方便计算机实现。 4．迭代法，便于计算机实现：迭代法分成三个模块，一个迭代计算反向实验信道，另一个迭代计算，第三个检查一次迭代前后信道容量误差的变化是否小于检测值ε（可取0.0001）,如果小于检测值则停止计算，输出结果。 信道容量的迭代计算具体如下： 求信道容量C就是在Pi的约束下，求I(X;Y)的极大值。为计算方便，重写下I(X;Y)式，公式中的对数取自然数。 （1） 首先引入反条件概率，即 （2） 则 （3） 迭代算法的要点是，当信道固定（即固定）时，把I(X;Y)看成是pi和qji的函数，用公式（3）进行信道容量计算的迭代。每一次迭代有两步组成： 将固定，在约束的条件下变动，得到I(X;Y)的极大值，记为 ；此时满足（2）式，重写为： （4） (b) 将固定，在约束的条件下变动，得到I(X;Y)的极大值，记为 ；此时满足： （5） （4）与（5）是迭代的基本公式。先取一组（n=1）的初始值，通常选取均匀分布，由（4）计算，再将此值代入（5）计算，依此反复计算下去。每次迭代都要利用（3）计算I(X;Y)的值。可以设置门限值，当相临的两次计算值I(X;Y)小于门限值时，就结束迭代过程，此时I(X;Y)的值就是信道容量C。 可以采用下述方法，避免计算反向条件概率，使算法简化： 将（4）代入（5）得 （6） 其中 （7） 将（6）（5）代入（3），得 （8） 现将算法归纳如下： 设信道输入输出符号集的大小分别为r，s，且ε为一个小的正数。且初始概率分布为均匀分布，即设pi=1/r 计算； 计算； 计算； 计算； 若（IU-IL）ε，转到6）， 否则 返回1） 输出信道容量的值C=IL（比特/符号） 四、实验数据源 1．P(a1)=p 2．P(a1)=p(a2)=0.5 五、实验组织运行要求 以学生自主训练为主的开放模式组织教学 六、实验条件 （1）微机 （2）MATLAB编程工具 七、实验报告 实验预习：离散信道容量的定义以及信道容量的迭代计算方法 实验记录：通过迭代算法计算能够得到的信道容量的结果 实验报告 #include?iostream??using?namespace?std;?????#define?FLOAT_MINUS_PRECISION?0.00001??typedef?vectorfloat*?VEC_PFLOAT;?????//迭代计算信道容量,参数值为信源,信宿符号个数和信道转移概率矩阵,返回信道容量?/pre???float?GetCapacity(int?nSourceSymbol,int?nHostSymbol,const?VEC_PFLO