测试效度及其验证方法.ppt

第五章 测试效度及其验证方法（二） 教学目标 了解整体效度观的主要思想 整体效度观 测试辩论法 图尔明模型 了解累进效度观的主要思想 测试辩论模型的逻辑错误及成因 累进辩论法 累进效度观 整体效度观 主要时期：20世纪80年代中期以后 基本观点：整体多维性 验证方法：理性辩论 辩论框架：图尔明模型 定义 《教育与心理测验标准》（1985） Validity … refers to the appropriateness, meaningfulness and usefulness of the specific inferences made form test scores. （从考分中推理出来的特定结论的恰当性、意义性和有用性） 《教育与心理测验标准》（1999） Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of tests. （证据和理论支持测试使用所需的考分解释的程度） 解读（效度概念的内涵） 整体多维性 整体概念：构念效度?整体效度，即效度（不存在类别之分） 多维互补：之前不同类别的效度?同一整体的不同维度（相互补充、相互依存，为整体效度提供证据） 重心转移 不再是测试本身固有的属性，而在于分数的解释和使用，包括分数解释的合理性、使用决策的恰当性和使用后果的裨益性 不再是“有”或“无”的问题，而是“程度”问题 不再是单一指标，而是综合评判 不再是抽象数值，而是理性结论 不再由公式计算，而应逻辑推理 无所谓效度系数之说 Validity Model (Messick 1988: 42) An inductive summary of convergent and discriminant evidence that the test scores have a plausible meaning or construct interpretation, An appraisal of the value implications of the test interpretation A rationale and evidence for the relevance of the construct and the utility of the scores in particular applications An appraisal of the potential social consequences of the proposed use and of the actual consequences when used Interpretive Argument (IA, Kane 1992) (转引自McNamara Roever, 2006: 25) IA: Score interpretation and use Assessment Argument (Mislevy et al. 2003) Evidence-centered Design (ECD) Evidence-based Validation (Weir 2005) Assessment Use Argument (AUA, Bachman Palmer 2010) Logical Structure of IA, ECD, AUA IA, based on Kane (1990, 1992) ECD, Mislevy et al. (2003: 15) AUA, Bachman (2005: 15) Alternative Explanation or Rival Hypothesis Rebuttal Data Rebuttal Backing Most questionable assumption Logical Problems of ECD Claim Warrant Backing Data Rebuttal Alternative Logical Problems of AUA－1 Data：Jim is going to the hospital. Claim：Jim is sick. (Warrant)：People often go to the hospital when they are sick. since so Rebuttal：Jim could be visiting someone who is in the hospital. Rebuttal Bac