教育信息熵20130914.ppt

2018-4-9 1 信息论的重要奠基者香农（C.E.Shannon）将信息定义为熵的减少，即信息可以消除人们对事物认识的不确定性，并将消除不确定程度的多少作为信息量的量度。 内容回顾 2018-4-9 2 完备的教育信息化环境是实现教育信息化的外部条件和基础。 培养教师与学生的信息素养，实现教师与学生的信息化是实现教育信息化的关键。 教育过程的信息化是教育环境信息化，教师与学生信息化的落脚点。 教育信息化的根本目标是以各门学科教学的信息化实现面向信息社会创新人才的培养。 内容回顾 2018-4-9 3 量度水平低 教育数据多是一些小样本的数据 注重个体数据的分析 教育信息多是一些模糊信息 教育信息有哪些基本特点？ 内容回顾 2018-4-9 4 测量尺度的类别及其处理方法 尺度类别 基本操作 统计处理 类别尺度 比较类别 统计类别数 顺序尺度 比较数值的大小 求序位、顺序关系 等距尺度 有相等的度量单位，采用相对零点。比较差异程度，可进行加减运算 算术平均、标准偏差、相关系数 比率尺度 有相等的度量单位，采用绝对零点。可进行四则运算 各种统计计算 内容回顾 2018-4-9 5 1、调查问卷中的5点式 Likert 态度量表选项： 非常满意、满意、一般、不满意、非常不满意 得分规定：2 1 0 -1 -2 2、将课堂教学行为分为教师行为T和学生行为S 规定：T=1，S=0 3、数学测试所得分数，例如87，69等 请判断以下数据属于何种类别尺度？ 顺序尺度 类别尺度 等距尺度 内容回顾 2018-4-9 6 教育信息有几种结构形式？ 时间序列 {xi ti} 内容回顾 第二章 教育信息熵 张敏霞 2018-4-9 8 第一节 熵的概述 第二节 相对熵与冗余熵 第三节 测试问题的信息量 第四节 CAI课件中的信息熵 第五节 教学过程的信息量分析 主要内容 2018-4-9 9 第一节 熵的概述 一、信息量的表示 一般来说，在通信过程中，信源发出的消息对收信者来说总是存在着某种程度的不确定性，通过通信，收信者就可能消除这种不确定性。 信息的多少与信源的不确定性有关。研究信息的度量可变成研究信源的不确定性的度量。 2018-4-9 10 例1：现有A、B、C、D、E五名学生，以他们作为候选人，需从中选出一名学生作为学生代表。 情况一：设定每一名学生被选中的可能性一样（A当选的概率是20%）； 情况二：设定A 当选的概率是90%； 情况三：A一定会当选（ A 当选的概率是100%）。 选拔的结果：A 被选中。 第一节 熵的概述 2018-4-9 11 信源输出的消息可以看作是随机事件（数学上对随机事件发生可能性的大小以概率来度量），它的不确定度可根据其出现的概率来衡量： 概率大，出现机会多，不确定程度小 概率小，出现机会少，不确定程度大 以I记消息包含的信息量，P记消息发生的概率，0≤P≤1,则有： 用函数可以表示为： I=f（P） 或 I= g（1/P) 信息量是概率的单调减函数。 第一节 熵的概述 2018-4-9 12 例2：某人到剧院找朋友，剧院有20行30列座位，朋友的位置有600种可能。消息A说：“他在第6行”，消息B说：“他在第9列”，合成消息C=AB说：他在第6行第9列“。 由概率论知，P（AB）=P（A）×P（B）。但经验告诉人们，消息C的信息量应该是消息A的信息量与消息B的信息量之和。 一般地若A和B为两个相互独立的消息，C代表A与B同时发生的合成消息，C=AB，则： I（AB）=I（A）+I（B） 当A、B不是独立事件时， I（AB）I（A）+I（B） 信息量具有可加性。 第一节 熵的概述 2018-4-9 13 信息量是概率的单调减函数I= g（1/P) ， 同时信息量又具有可加性I（AB）=I（A）+I（B） 。 那么信息量可以用什么函数表示？ 对数函数是可供选用的合适的函数， logak 随k值的增大而增大，且 loga(k×l)=logak + logal 第一节 熵的概述 2018-4-9 14 设某一事件产生的概率为p，则信息量可定义为： I =loga(1/P)=-logaP 其中，a＞1 a＝2时，单位为bit（比特），字位 a＝e时，单位为nat（奈特），自然对数ln a＝10时，单位为dit（迪特）。常用对数lg 通常情况下，我们选择以2为底数，此时信息量的单位为比特。 信息量定义