姚应水-信度和效度.ppt

信度的种类及估计方法 重测信度 复本信度 内部一致性信度 评分者信度 使用的前提条件： 1）测验所测的特质必须是稳定的，即被测的特征和属性在两次测验之间没有发生变化 2）把握适当的时间间隔，遗忘和练习的效果基本上相互抵消 3）两次施测期间被试的学习效果没有差别 计算重测信度应注意的问题： 两次测验时间间隔要适当 总的原则是时间间隔要长到第一次的测试对第二次的测试结果不会产生影响，但也不能太长以至于客观情况已发生了变化 所测试变量的性质 应当较为稳定。如个性、价值观、生活质量等 测试环境应当一致 应尽量保证第二次测试环境与第一次测试的环境相同，以减少外部变量对结果的干扰。 复本信度的注意事项 两个测验必须在项目的内容、形式、数量、难易、时限、指导语等方面相同或相似。 两次测验的时间间隔要适当。 局限： 复本法只能减少而不能排除练习和记忆效应。 对于许多测验来说要建立复本是非常困难的。 1.分半信度（split-half reliability） 概念：在测验没有复本且只能实施一次的情况下，按题目的奇偶顺序或其他方法可将测验项目分成对等的两半，根据被试在这两半测验中所得的分数计算相关系数，即得分半信度。 计算方法：对这两个部分的数值进行相关分析，计算分半信度系数rhh，然后采用Spearman-Brown公式对rhh进行修正以计算分半信度rtt。 2.克朗巴哈α信度系数（Chronbach’s α coefficient） Chronbach’s α信度系数是Cronbach于1951年创立的，用于评价问卷的内部一致性。α系数取值在0到1之间，α系数越高，信度越高，问卷的内部一致性越好。 3. 库德—理查逊的KR-20值（Kuder-Richardson formula 20, KR-20） KR-20值也是分析所有项目间的平均一致程度，但是，KR-20值公式要求项目以0、1记分。 KR-20值计算方法： 在一定意义上KR-20值是克朗巴哈α系数的一种特例。 效度的性质 效度是针对测验结果的 效度是针对某种特定的测验目的的 效度只有程度上的差别（只有程度上的差别，没有全或无的差别） 效度是测量的随机误差和系统误差的综合反映 判断一个测量是否有效要从多方面搜集证据 结构效度能帮助我们运用测验分数解释人的心理特质 标准关联效度可用来了解测验分数能否有效地预测或估计某种行为表现 内容效度研究的问题是变量的内容范围 影响效度的因素 测试本身的因素 测试题中所用词汇、句型难度不能过大 量表中所提的问题意思应当清楚、测试题不能有额外线索 测试题要合理编制 答案不能有规律（或组型） 测量的数目 测量的难度要适当 测试实施和计分方面 被试对象的主观因素 样本方面 举例 * 以上介绍的各种信度估计方法都是对测试的一致性进行估计，但由于误差来源不同，它们研究的侧面各不相同 重测信度： 估计测试中跨时间的一致性。 复本信度： 估计测试跨形式的一致性 评分者信度：估计测试跨评分者的一致性 内在一致性系数： 估计测试跨项目或两个分半测试之间的一致性 影响信度的主要因素 * 测试工具本身的影响 测试实施过程的影响 测试题目取样不当 测量的难度 测题或指导语用词不当、时限过短 测试环境 测试者穿着、言谈举止不符合施测要求 评分不客观、登记分出错 影响信度的主要因素 * 被试者（被调查者）的影响 测试得分的分布范围及测试长度的影响 被试者的动机 被试者的焦虑、生理因素 测试经验、学习和教育的影响 测试得分的分布范围越宽、信度系数就越高。 信度系数也是一种相关系数，受到样本中各被试的能力或者特性的范围影响。 其他条件不变时，测试长度越长，即题目数越多，信度就越高 * 效 度 * 什么是效度（validity）？ 概念：又称准确度，是用以反映测量结果与“真值”的接近程度。对于一个标准测验来说，效度比信度更为重要。 效度分析的意义：是量表（问卷）调查研究中最重要的特征，效度越高表示该问卷测验的结果所能代表要测验的行为的真实度越高，越能够达到问卷测验目的。它反映了对问卷的系统误差的控制程度。 常见的效度种类 内容效度 指量表测量的内容与所要测量的内容之间的吻合程度。即测试对象对问题的理解和回答是否拟于设计者希望询问的内容一致。 结构效度 根据研究者所构想的量表结构与测试结果吻合程度。 标准关联效度 又称校标效度。即以一个公认有效的量表作为标准（通常称为金标准），检验新量表与标准量表测量结果的相关性。 * * 评价方法 适用 主要通过主观经验判断 文献分析法 专家咨询法 适用于成就测验、选拔和分类的职业测验 不适于能力倾向测验和人格测验 内容效度 * 评价方法 适用 主成分