信息论与编码实验指导书_0.doc

《信息论与编码》 实验指导书 河北工业大学信息工程学院 《信息论与编码》课程组 2008年 2月 前 言 当前，信息论与编码已经成为电子信息类专业高年级学生必修的专业基础课。尽管各个院校开设课程名称有所不同，但都是以香农信息论为核心 2008年2月 目 录 实验一 信息熵与图像熵计算--------------------------------------- 1 实验二 Huffman 编码实验------------------------------------------ 6 实验三 算术编码实验------------------------------------------------ 11 实验四 CRC校验编码实验------------------------------------------17 实验一 信息熵与图像熵计算（2学时） 一、实验目的 1．复习MATLAB的基本命令，熟悉MATLAB下的基本函数。 2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。 二、实验内容 1．能够写出MATLAB源代码，求信源的信息熵。 2．根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。 三、实验仪器、设备 1．计算机－系统最低配置 256M内存、P4 CPU。 2．Matlab仿真软件 － 7.0 / 7.1 / 2006a 等版本Matlab软件。 四、实验原理 1． MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。 2． 利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。 自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： H(X)?E[log1 p(ai)]???p(ai)logp(ai) i?1n 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 3．学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i 的像素所占的比例，则定义灰度图像的一元灰度熵为： H??pilogpi i?0255 -1- 图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i表示像素的灰度值(0 lt;= i lt;= 255)，j表示邻域灰度(0 lt;= j lt;= 255), pij?f(i,j)/N2 上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j)为特征二元组(i, j)出现的频数，N为图像的尺度，定义离散的图像二维熵为： H??pijlogpij i?0255 构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征. 五、实验步骤 1．求解信息熵过程： 1) 输入一个离散信源，并检查该信源是否是完备集。 2) 去除信源中符号分布概率为零的元素。 3) 根据平均信息量公式，求出离散信源的熵。 2．图像熵计算过程： 1) 输入一幅图像，并将其转换成灰度图像。 2) 统计出图像中每个灰度阶象素概率。 3) 统计出图像中相邻两象素的灰度阶联合分布矩阵。 4) 根据图像熵和二阶熵公式，计算出一幅图像的熵。 六、实验报告要求 1． 按照本节内容后实验报告形式书写。 2． 实验总结和心得要详细，可以根据自己实验情况，写出建议。 七、实验注意事项 1． Matlab语言课下多复习，尽量采用模块化编程方法，通过函数调用形式运行程序。 2． 仔细理解、体会图像熵的概念，能够将其联合熵的概念理解透彻。 -2- 八、思考题 举例说明图像熵、信息熵在现实中有何实践指导意义？ 附1：信息熵计算源代码 函数源程序 CalEntropy.m % Information Shannon Entropy calculation % jma@hebut