信息论教学中数学内容物理化分析.docVIP

信息论教学中数学内容物理化分析 香农在1948年发表论文《通信的数学理论》，奠定了现代信息论的基础，迄今已经有70余年的历史。在这70年中，通信技术经历了空前规模的大发展。turbo码将通信信道的容量逼近了香农理论的极限值，千兆光纤进入千家万户，5G网络即将开始铺设等等，这被称为人类历史上的第三次工业技术革命，即计算机与信息技术革命。伴随着信息技术的极大发展，信息论作为信息技术的理论基础，不仅对很多技术的发展起到了指路明灯的作用，其本身也取得了相当程度的发展。就在去年，华为的杨学志教授提出了新的衰落信道容量理论。又一次扩展了信息论的内容。作为现代通信行业的从业者，对信息论有一定程度的了解是必要的，也是重要的。信息论作为介绍香农信息论的基础理论课程是通信，计算机相关专业学生的必修课。然而信息论富含数学内容，学生普遍反应学习起来相对困难，其中一个重要困难之处就在于各式各样数学推导与证明的理解。学生在复杂的公式中绕来绕去，却忽略了理论的基本物理意义。那么这些数学内容是否重要呢？在教学实践中，我们曾经试图忽略过这些数学证明和推导，然而缺乏了这些数学推导，学生反而更加不容易理解理论的物理意义，并且在学习中也觉得心里不踏实。通过这些经验教训，我们认为信息论的大部分数学内容需要进行教学，但是必须要讲究方式方法，不能枯燥干瘪的罗列公式，而要把数学公式背后的物理意义讲清楚。因此数学问题物理化是我们对信息论教学的改革思路。我们将通过下面数个例子，来介绍我们的思路。 1.克劳夫特不等式 信息论中最重要的理论之一就是信源编码理论，而无论定长，还是变长信源编码定理都是从克劳夫特不等式推导得出的。(1)公式(1)即为克劳夫特不等式，其中m为编码使用的进制，i为待编码信息的编号，Ki为第i个信息使用的码长。克劳夫特不等式成立，说明该码长方案中存在即时码，反之则不信息论教学中的数学内容的物理化南京邮电大学通信与信息工程学院赵阳赵生妹存在。那么克劳夫特不等式本身该如何理解呢？为什么这个不等式成立就存在即时码了呢？学生在看到这个不等式时往往很难理解它与即时码的关系。如果我们用大段的数学公式去证明这个问题，不仅学生接受起来较为困难，也冲淡了该不等式本身物理意义的教学。然而我们可以通过数学与物理的结合简单的说明这个问题。我们知道即时码等价于异前缀码，与码树存在一一对应的关系。因此在我们的教学中，我们是这样讲解克劳夫特不等式的。对于一个2进制的码树，设其总的路径数量为n。那么码长为1的码字，将占据掉码树中1/2的路径，即n/2的路径。码长为Ki的码字将占据掉的路径。同理对于m进制的码树，码长为Ki的码字将占据掉的路径。那么克劳夫特不等式的含义就非常清楚了，两边乘以n后，其左侧求和就是该码长方案所需要的路径之和，而右边就是该码长方案下码树中最大路径数量。满足克劳夫特不等式说明，码树可以提供编码需要的路径，自然可以完成一个即时码。反之，克劳夫特不等式不满足，则码树中没有足够的路径使用，自然不可能写出即时码。这一说明并不是严格的证明，我们在其中几乎没有用到任何数学工具，而是从基本概念出发，结合码树的物理形态，自然的得出了结论。它形象的说明了克劳夫特不等式与码树，即时码之间的关系。在我们教学实践中，这种偏向物理的教学方法得到了学生的普遍认同，有效的提高了学生对克劳夫特不等式，信源编码定理的理解。 2.最大离散熵定理 信息论中另一个重要的结论是最大离散熵定理。它指出在一个离散信源中，当各信源信息的概率相等时，该信源具有最大的信源熵。同样该定理的严格证明相当复杂。然而我们可以通过物理意义和数学说明两个方面来帮助学生理解该定理。首先我们从物理意义上解释该定理。信源熵是信源不确定度的体现，当一个信源概率分布不均匀时，我们对信源可能产生的信息就有一定判断，概率较大的那些信息出现的可能性比较大。而当信源各信息概率相等时，我们对信源下一个产生的信息就没有任何有价值的判断，对应于不确定度最大。因此，此时信源具有最大的信源熵。至此，我们已经完成了物理上的分析。然而，如果我们就此打住，不再进行数学上的分析的话，学生的反馈是虽然基本理解了定理的含义，但是感觉很虚，不踏实。因此，一定程度的数学讲解也是有必要的。我们知道信源熵是关于信源概率分布的上凸函数。那么必然有：(2)其中H是信源熵，是信源中的两个概率，，因此有：(3)即我们把信源任意两个信息的概率平均化后，所得的信源熵一定比原来大。那么我们只要对信源所有的概率进行两两平均化，最后一定能使得所有概率相等，此时的信源熵最大，这样我们就非常简单的得出了最大离散熵定理。在这一问题中，我们依然避开了复杂的严格证明，转而通过内在的物理含义与简单的数学讨论，将最大离散熵定理讲的十分清楚，获得了相当积极的教学