基于标准的学生生物学核心素养发展水平的评价.PPT

给考生家庭的成绩报告 给学校的成绩报告 给学校的成绩报告 给学区的成绩报告 给学区的成绩报告 3.2 测量工具的评价 试题质量的初步评价 测验分数的分布状态、平均分、标准差 试题的信度：反映测量工具可靠性的指标 试题的效度：一个测验能够测出其所要测量的特性或功能的程度 项目质量评价 项目的难度分析 项目的区分度分析 选择题的反应模式分析 测验分数的分布状态 常见的考试分数的次数分布曲线： 正态分布。说明测试结果与学生的实际状况一致，各种难度的项目比例合理 正偏态分布。说明试题难度偏高，难度较大的项目比例偏大。呈这种分布的试题有利于将成绩优秀的学生和中等程度的学生区别开，但不利于将中等程度的学生和成绩较差的学生区别开。 负偏态分布。说明试题难度偏低，难度较低的项目比例偏大。呈这种分布的试题有利于将成绩较差的学生和中等程度的学生区别开，但不利于将中等程度的学生和成绩优秀的学生区别开。 双峰形分布。说明试题存在两极分化现象，即难度偏高的和难度偏低的项目较多，而中等难度的项目偏少，项目难度的分布缺乏梯度，不够合理。呈这种分布的试题可以区别中等程度的学生，但不利于区别成绩优秀和成绩较差的学生。 平坡形分布。说明试题各种难度的项目比例接近，梯度较大。呈这种分布的试题区分度较高，但分数之间的差异偏大。 陡峭形分布。说明试题中等难度的项目较多，梯度偏小。呈这种分布的试题几乎不能将不同程度的学生区别开，分数分布过于集中。 基于标准的教育考试的效度检验 解释性论证 Ⅰ.评分推测：根据考生在所有试题上的表现获得的观察分数是准确的 假设1：试题的评分标准是正确的，合适的 假设2：评分过程中，评分标准的使用准确、一致 假设3：评分结果不包含其他偏差 假设4：用来将观察分数转换为量表分数的模型与观察数据是拟合的 Ⅱ.概化推测：用观察分数推测概化分数是合适的 假设1：试题覆盖的知识内容对概化而言具有足够的代表性 假设2：试题样本足够大，控制的测量误差能够满足决策要求 基于标准的教育考试的效度检验 Ⅲ.外延推测：以概化全域分数代表目标领域或学科的分数是合理的 假设1：概化分数与目标领域或学科分数相关 假设2：概化全域的测量目标与目标领域的测量目标一致，或者概化全域分数反映的特质内涵与目标领域或学科要求的特质内涵是一致的 Ⅳ.决策：高分的考生学习达到高水平的要求，低分的考生学习只达到较低水平的要求，甚至未达到课程标准的要求 假设1：目标领域的表现标准是合适的，包括表现标准水平、名称、描述等能够反映考生在目标领域或学科学习上的差异 假设2：标准设置方法是合适的，标准设置按照确定的要求和程序进行 假设3：划界分数的误差得到合理的控制 效度论证：评价解释性论证的一致性；论证推测和假设的合理性 选择题的反应模式分析 如果难度值接近于1.0，说明？ 如果某个迷惑答案几乎没有被选择，说明？ 如果某错误答案选择率高于正确答案，说明？ 如果规定选择题的正确答案只有一个，而高分组学生的选择却集中于两个答案，且两者的选择率相近，说明？ 如果高分组对正确答案的选择率与低分组相近甚至更低，说明？ 如果某项目各个被选答案的选择率几乎相同或未作答的人数较多，说明？ 难度适中、区分度较高的选择题，表现出两个共同的特点：正确答案的选择率最高；迷惑答案的选择率相同或相近。 3.3 信息技术的应用 实现核心素养的可测评性 基于计算机的评价为控制测评环境、收集和分析学生表现提供了有效手段。 PISA2015“协作问题解决”就采用一种类似计算机游戏的考查方式。计算机采用人工智能技术模拟出一个“智能执行者”（Agent）。它模拟具有不同技巧和能力的团队成员。学生同这个智能执行者进行协作。 考试结果的统计分析 考试结果的报告 谢谢！ 安徽省教科院 钟能政 2017.5.18长沙 基于标准的学生生物学核心素养发展水平的评价 学习汇报 汇报提纲 1 关于基于标准的教育考试 2 例举难点问题 3 例举需关注的问题 1 关于基于标准的教育考试 1.1 基本概念 测量是指按照确定的过程、方法和规则对对象的特征进行量化的过程。 “测验实质上是行为样本的客观的和标准化的测量”，教育测量的主要工具。 考试是根据一定的目的，按照一定的要求，通过考生解答问题或解决实际问题的过程和结果，推测考生具备某一心理特征（如知识、能力）的程度。大多用于学业成就测量之中。 评价是指为决策收集系统资料的过程。在这个过程中，包括鉴别、获取和提供可供教育或教学决策之用的资料、意见和价值判断。 测量、考试、评价的关系 1 评价 2 3 4 5 考试 测量 区域1代表与测量和考试无关的评价活动，如对学生行为的定性描述，以诊断其学习方面的问题；区域2代表与测量有关，但与考试无关的评价，如教师用排序的方法给学生打分；区域3是考试用于