(效度和效度检验.ppt

效度和效度检验 关于效度和效度检验的问题 效度的概念 效度的性质 效度检验的前提 效度的证据 效度检验的设计 效度的概念 现行美国《教育和心理测试标准》一书对效度作出了如下定义： Validity is a unitary concept. Although evidence may be accumulated in many ways, validity always refers to the degree to which that evidence supports the inferences that are made from the scores. The inferences regarding specific uses of a test are validated, not the test itself. 效度是一个统一的概念，尽管我们可以以不同的方式收集 关于效度的证据，效度总是指证据支持我们从考试成绩所作出 的各种推测的程度，效度检验检验的是对考试的使用所作的推 测，而不是考试本身。 效度的概念 美国教育和心理测量协会（1985）： Validity means the degree to which the appropriateness,meaningfulness, and usefulness of the specific inferences made from the test scores. 效度是指根据考试分数所作出的特定的推测的适 当、有意义和有用程度。 效度的性质 效度指的是考试结果解释的合理性，它不是指考试本身。我们有时出于方便，说“考试的效度”，实际上正确的说法是对考试结果所做的解释的效度。 效度是就程度而言的，不是要么有效，要么无效。因此，不要说考试结果有效或无效，而应该从确定程度的类型的角度来考虑效度，如高效度、中等效度和低效度。 效度总是与考试结果的解释或某种特殊的用途有关。世界上没有对所有目的都有效的考试。在讨论效度时，必须考虑对考试结果所做出的专门解释或用途。考试结果对做出的每个不同的解释都有不同的效度。 效度的性质 效度是一个统一的概念。美国心理测量学会在“教育和心理测量标准”一书中，已经抛弃了多种效度的传统概念，将效度看作是以各种不同类型的证据为基础的统一的概念。 效度是一个总体的评价判断。它要求用各种证据并且从后效影响的角度来判断考试结果解释和使用的合理性和合适性程度。 效度与信度概念的辨析 假设有一道试题： 水稻的茎不能加粗的主要原因是茎内没有（ ）。 A. 形成层 B. 维管束 C. 木纤维 D. 韧皮纤维 效度检验的前提条件 考试评价的目的要与考试机构的任务和价值观相适应 考试应该有利于高校选拔合格的新生； 有利于促进中学推进素质教育 有利于培养学生的创新精神和实践能力 要明确地确定或描述要测量的心理结构（知识、能力或其他特征），对分数或其他评价结果要作出的解释。 测量目标和行为标准 确定结构的特征是需要谨慎，只能将考试技术能够测量的特征或行为包括在结构的特征描述之中，不能测量的特征不能包括在其中 结构的特征一旦确定，就是排它的、武断的。 确定所要收集的证据的类型和数量 效度的证据 考试内容 考生的应答过程 评分标准与定义的心理结构及其行为标准的一致性 考试的内部结构 考试与效标（标准）的关系 考试内容方面的证据 确定每道试题测量的行为目标，涉及到内容领域那些内容； 比较考试的内容结构与学科内容领域的结构是否一致。 收集证据的方法 考试机构自己对照考试规范或考试大纲进行检查 发放问卷调查表给学科教师或专家进行调查 由专家按照详细的一系列标准给每道试题和整张考卷进行定量打分或定性评价 效度的证据——考生的应答过程 考试是从认知心理学的角度来看待考试结果反映考生心理结构的程度，也就是说从考察学生回答问题时发生的心理过程或思维过程的角度来看待结构效度的。使用某些问题或试题来测量思维能力时，需要问题或试题能够引发考生进行一定的思维活动，这个活动反过来引发考生显示出我们希望考生显示的行为。只有在这样的情况下，问题才是有效的，得到的结果才能是考生某一心理结构的测度。 分析考生答题的思维过程的主要方法包括 调查问卷分析 计算机模拟分析 面谈记录分析 评分标准与定义的心理结构 及其行为标准的一致性 命题时制定的评分标准应该与定义的心理结构及其行为标准相一致 具体评分时，评分标准的细化应该以行为标准的表现出来与否为得分步骤，而不一定是以做出来一步给多少分。有可能做出来的两步都是一个行为表现。 考