张传萍：如何在测评题设计中保证信度和效度.doc

整合情境教学测评模块的问题设计 如何保障效度和信度 湖北省教育科学研究所 张传萍 叶 平 2008年12月4日湖北省教科所基教中心开展的第二次网络教研活动——《如何确定测评模块的“核心知识”和具体问题》中，很多老师对问题设计的效度和信度产生了众多疑惑，如认为：“效度就是价值观念；问题的开放性能否保证效度；信度就是学生根据已有的知识和经验对问题做出合理的解释或解答；问题的难度是否和信度发生冲突即降低难度就会增加信度；信度与题目设计有没有关系，是不是只停留在测试的结果；信度是不是依赖于测试，没有测试就没有信度可言”等等。为了澄清上述问题，本文就如何在整合情境教学测试模块中保证问题设计的信度和效度，谈谈自己的看法。 一、效度及其保障 在整合情境教学测评模块中，提出的问题必须是有效的，即具有“效度”。简而言之，效度就是指“测验能够测到它打算测的东西的程度”（漆书青《现代教育与心理测量学原理》）因此，整合情境的能力测评若要具有“效度”，就必须使测评问题准确地击中对能力目标的考查，而不是对以前学习资源内容（知识与技能）的记忆。 在教育测量学中，效度是测量的结果与所要达到的目标之间相符合的程度，是测量的准确性和有效性的指标。由于测量目的的不同，效度有不同的类型：包括内容效度（是指测验题目在多大程度上概括了所要测量的整个内容，也就是内容的代表性）、效标效度（是指测验的结果与预期的结果的相关程度）、结构效度（是一种测量的结果可以用该测验所假定的结构予以解释的效度）（李秉德，檀仁梅：《教育科学研究方法》，人民教育出版社，1986年版，P177-179）。我们这里讲的主要指内容效度。以尺子为例：一把精确的尺子，若用以测量物体的长度，则测验结果会很准确，那么这把尺子的效度非常好；而若用这把尺子测量物体的重量，那么显然测量的结果和想测的事物之间毫无关系，此时这把尺子无疑是无效的。因此，如果我们把提出的测评问题也作为一把尺子，它只能测量是学生对知识的记忆而不能测量出关键能力，那么这把尺子就缺乏效度。为了保证测评模块中测试题的效度，问题就必须击中能力。从这个例子可以看出，效度是针对目标而言的，对于不同的目标，即使使用同一个测量工具，其有效性就会有差异。 针对效度的影响因素，为了保证整合情境教学测评问题设计的效度，我们可以对应采取以下措施：第一，问题要紧紧围绕评价指标中的关键能力来设计，只要击中能力的问题，效度才能保证。如果测试题没有击中能力，那么就会产生测量学中的系统误差。系统误差一旦产生就会自始至终影响整个测量过程。可见效度虽然受到评估主体和客体的价值观的影响，但主要还是最终受到能力目标和影响。第二，问卷实测阶段，要认真考虑班级学生学习成绩差异、参加测试的学生人数、学生年级、学校学习质量差异等方面。上述因素都影响到了关键能力的因素，如果不考虑以上因素，关键能力就没有找准。测试在操作过程中就会出现这种现象：某学校老师设计的整合情境教学测评模块在本校测试的效度比较高，而拿到其他学习质量差异比较大的学校测试，其效度就可能比较低。 二、信度及其保障 在整合情境教学测评模块中，提出的“问题”必须是可靠的，无论时间、地点或者阅卷人（评估者）如何改变，都能提供稳定结果的评估结果。有利于考试和批改程序标准化。也就是说，测评问题必须具有“信度”。 在教育测量学中，信度指的是测验结果的可信程度，它反映了测验的稳定性和可靠性（宋岭梅：《教育测量学》）。也可以认为，信度是反映测验成绩在不同条件下的一致性程度指标（谢晓庆《心理测量学讲义》），是测验结果受随机误差（包括测验时间、地点、学生情绪、评分者等多种误差因素）的影响程度。 信度通常有稳定性信度、等值性信度（再测一致性）、同质性信度（内部一致性）和评分者信度等类型。在这里，我们主要说的是等值性信度和评分者信度。例如，若使用一把尺子前后两次测量同一个东西，得到的结果却不一致，那么这把尺子就不可靠，缺乏等值性信度（再测一致性）。以同样的例子讲，如果一把尺子被你用来测量一个物品得到一个结果，被我用来测量同一东西却得到另一个结果，那么，这把尺子就是不可靠的，缺乏评分者信度，它反映了一个测验在不同评分者之间的一致性。 在本次论坛中，有的老师认为只有测试结果出来，才能谈得上测试的信度。一般来说，测试信度只有在测试结果出来之后才得知，但是我们可以凭多年的测试经验，在测试实施之前，能判断部分测试题目是否具有信度，排除部分信度较差的题目，从而在测试之前保证测试的最大信度。仍然以尺子为例，如果尺子本身的刻度有问题，那么用这把尺子测试物体的长度，信度就会存在问题。 等值性信度和评分者信度，是可以通过改进测量工具来提高的。如在整合情境教学测评模块的问题设计中，我们可以采取以下措施对测验题的设计进行改进，从而提高测试的信度： 第一，