信息熵函数的计算.docVIP

2014—2015 学年第 1 学期 合肥学院数理系 实验报告 ，信道转移概率矩阵其中； 输出：信源熵，条件熵，联合熵。 三. 实验方案或步骤（程序设计说明） 实验选用C语言编程，用一维数组存储信源分布数据，二维数组存储信道转移概率矩阵。利用循环（嵌套）语句计算以下公式并输出需要的结果： , , 四. 实验程序（经调试正确的源程序#include stdio.h #include stdlib.h #include math.h #define M 20 //最大行数 #define N 20 //最大列数 /*求以2为底x为顶的对数*/ float log2(float x) { return log(x)/log(2);}//log2(x) /*主函数*/ void main() { int m,n,i,j; float H_X,H_X_Y,H_Y_X,H_XY;//H(X),H(X|Y),H(Y|X),H(XY) float P_X_Y,P_Y_X,P_XY;//P(X|Y),P(Y|X),P(XY) float P_X[M],P_Y[N],matrix[M][N];//信源分布P(X),P(Y),信道转移概率矩阵 while(1) { printf(\n请输入信源分布的元素个数 m:); scanf(%d,m); printf(\n输入信源分布:); for(i=0;im;i++) scanf(%f,P_X[i]); printf(\n输入的信源分布为:); for(i=0;im;i++) printf(%10f,P_X[i]); printf(\n\n请输入信道转移概率矩阵列数 n:); scanf(%d,n); printf(\n请按行序输入矩阵元素:); for(i=0;im;i++) for(j=0;jn;j++) scanf(%f,matrix[i][j]); printf(\n输入的矩阵为:); for(i=0;im;i++) { printf(\n); for(j=0;jn;j++) printf(%10f,matrix[i][j]);} //信息熵H(X) H_X=0; for(i=0;im;i++) H_X=H_X-P_X[i]*log2(P_X[i]); printf(\n\n信息熵H(X)=%f,H_X);//信息熵H(X) //条件熵H(X|Y) H_X_Y=0; for(j=0;jn;j++)//求P(Y) { P_Y[j]=0; for(i=0;im;i++) { P_Y_X=matrix[i][j]; P_XY=P_Y_X*P_X[i]; P_Y[j]=P_Y[j]+P_XY;} } for(i=0;im;i++)//求H(X|Y) { for(j=0;jn;j++) { P_Y_X=matrix[i][j]; P_XY=P_Y_X*P_X[i]; P_X_Y=P_XY/P_Y[j]; H_X_Y=H_X_Y-P_XY*log2(P_X_Y);} } printf(\n\n条件熵H(X|Y)=%f,H_X_Y);//条件熵H(X|Y) //条件熵H(Y|X) H_Y_X=0; for(i=0;im;i++) { for(j=0;jn;j++) { P_Y_X=matrix[i][j]; P_XY=P_Y_X*P_X[i]; H_Y_X=H_Y_X-P_XY*log2(P_Y_X);} } printf(\n\n条件熵H(Y|X)=%f,H_Y_X);//条件熵H(Y|X) //联合熵H(XY) H_XY=H_X+H_Y_X; printf(\n\n联合熵H(XY)=%f,H_XY);//联合熵H(XY) } } 五．程序运行 六．实验总结及心得体会 本次实验我使用的是C语言编程没有清晰的数学思维和对概念的了解，大体思想是利用数组存储数据，然后将数学公式转化为程序语言运算并输出。程序难度虽然不大，但是难以理清程序中的变量和下标的。因此实验过程中我体会到了数学在编程中的重要性，同时加深了对“信息熵”概念的理解。 七．教师评语 教师签名： 年 月 日