量表与的信度与效度分析计算.ppt

量表的信度与效度计算分析;一、信度（reliability）定义 若重复进行测量，产生相同结果的准确程度 测量的可靠性、稳定性和预测性 测量的精确度 反复测量结果的稳定性或一致性可能很高 但却可能是不准确的 用零点没有调整在中心的秤来测量重量 采用有明显导向性的问答题组成的量表测量态度;二、效度（validity）定义 所测量的是不是研究者所想要的 在多大程度上给出了他/她所想要的 例如，研究者希望测量电视广告的传播效果 目的：了解广告能否引起目标消费群的购买欲望 消费者的购物决策是否与观看的电视广告相关 如果：最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价 结论：所用量表是无效的或是效度很低的; 信度高时效度不一定高 但效度高时信度一定高;从三个方面来分析测量的信度 稳定性 (stability) 内在一致性 (internal consistency) 等价性 (equivalency) ;1、稳定性分析 也叫做测验--再测验法 目的： 考察对于同样的问答题（或测试） 对同一组被访者或受测试者 前后两次测量的结果是否基本一致 ;1、稳定性分析 方法： 用“再测信度”来测量稳定性 再测信度：两次测量结果间的相关系数 相关系数越接近 1，表示稳定性越好 ;1、稳定性分析 缺点： 一般应用中很难真正实现（人力、财力、时间） 再测信度的应用有局限性 第一次的测量可能会影响到第二次（信度偏高） 两次测量间客观的情况可能有变化（信度偏低）;2、内在一致性分析 目的：检验多项目量表中各个项目的一致性 可信的量表的项目必须具有内在一致性;2、内在一致性分析 方法之一：折半法 (split-half technique) 将量表中的项目分成两半 计算这两部分的总得分的相关系数rh 如果量表具有较高的内在一致性 那么这两部分应该是高度相关的 ;2、内在一致性分析 方法之一：折半法 (split-half technique) 优点：不需要重复的测量 常用分法：按项目号的前后顺序分 或按项目号的奇偶性分 计算公式： ru = 2rh / (1 + rh) ;2、内在一致性分析 方法之一：折半法 (split-half technique) 注意：需先将量表中的反意题作逆向处理 再分别计算两部分的总得分 前提假设：两半题项得分方差大致相等 否则可能会低估信度系数 ;2、内在一致性分析 方法之二：alpha信度系数法 克朗巴哈提出用α系数来测量累加量表的信度 α= K (1 - Σσi2/σT2)/(K-1) K 量表中题（项目）的总数 σi2 第i个题（项目）得分的题内方差 Σσi2 K个题项的方差之和 σT2 总得分（所有题项得分之和）的方差 α信度系数是评估量表内部一致性的比较常用系数 ;2、内在一致性分析 方法之三：平均相关系数法 缺点：偏重于项目之间的相关 而不是整个量表的信度 项目越多，平均相关系数就可能越高 提高信度的方法之一： 增加量表中的测量项目 因为各个项目的随机误差可能会相互抵消 ;2、内在一致性分析 小结： 信度的高低既依赖于项目的内在一致性 也依赖于量表的长度 因此： 一方面尽量设计内在相关性更高的项目 另一方面也可以考虑适当增加项目的数量 ;3、等价性分析 A 当使用两种不同的量表去测量同一概念时，这两种量表是否等价？ 方法：在同一时段中，让同一组被访者接受两种量表的测试；计算两组得分之间的相关，用于评价信度 B 当两个评分者（或编码员）判断同一现象时，评价结果是否一致？ 方法：计算两个评分者评分之间的相关；或计算两个编码员编码结果一致的比例，用于评价信度 ;3、等价性分析 前一种应用A比较少见（构造等价的量表非常困难） 后一种应用B比较常见，也称为 评分者内在信度 (inter-rater reliability) 编码员间信度 (inter-coder reliability) ;3、等价性分析 在内容分析中，要评价编码员间信度 编码：将分析单位（如单词、符号、主题等） 置于各种内容类别中 不同的编码者独立地编码 如果能得到比较一致的结果