spss效度与信度简介.ppt

效度与信度简介 屏东教育大学 陈正昌副教授 效度的意义 正确性 能测出所欲测量的特质之程度 以英文出统计学考题 英文作文题目让考生看不懂 是科学测量工具最重要的必备条件 是一个过程而不仅是程度的问题 更精确而言 可依不同的方法得到不同效度 效度是指一个测验在使用目的上的有效性 效度是测验能够达到某种目的的程度 效度是指测验的结果，而不是「测验的本身」 效度无法直接测量，但可从其它数据推论 效度是「程度的差别」，而不是「全有或全无」 效度不具普遍性 效度的种类 表面效度（face validity） 内容效度（content validity） 效标效度（criterion validity） 同时效度（concurrent validity）：相关 (托福成绩高，但无法听说英语) 预测效度（predictive validity）：相关、回归(GRE成绩高，但出国之后无法顺利学习) 构念效度（construct validity） 聚合效度（convergent validity）：不同的方法、相同的构念 区别效度（discriminant validity）：相同的方法、不同的构念 表面效度 好像测量甚么特质，而不是事实上能测量到甚么特质。 具有内容效度的测验，通常也具有表面效度。 态度或人格测验，具有高的表面效度，不见得好。 内容效度 每一题目都应与所界定之内容或行为范围有适当的相关。 量表内容应能确实地涵盖所界定之对象范围。 项目之分配比例应适当地反应研究范围中，各构念之重要性，及数目多寡。 项目不能太少，或太集中于某一构念。 判断方法： 双向细目表 专家判断 复本的编制 效标关联效度 效标关联 (criterion-related) 效度，又称实用 (pragmatic) 效度或实证 (empirical) 效度 「效标」是用来显示测量工具所欲测量 (或预测) 的特质之独立量数，以作为检定效度的参考标准 依据效标不同，效标关联可分为同时 (concurrent) 效标及预测 (predictive) 效标 常用的效标 学业成就 智力测验 实际的工作成绩 性向测验 医师的诊断 人格测验 先前有效的测验 新编测验 入学后的成绩 入学测验 构念效度 构念效度指测验能够测量到理论上的构念或特质的程度 构念效度的判断 相关研究：与同性质的测验有相关，与不同性质的测验无关 团体差异：如：智力测验分数，六年级＞三年级＞一年级 实验研究 内部一致性分析 对照团体法：高低分组比较 项目与总分之相关 因素分析 MTMM 信度的意义 意义 可靠性（trustworthiness） 稳定性（stability） 一致性（consistency） 可信赖度（dependability） 精确性（accuracy of precision） 评定方式 不同施测者, 同一时间, 使用同一工具, 对同一受试加以评量 不同时间, 使用同一工具, 对同一受试加以评量 测量结果能否反映真实程度(抄别人的作业反而比较高分) 信度的种类-1 再测信度（test-retest reliability） 不同时间使用同一工具对同一受试加以评量 稳定信度（stability reliability ） 相关系数 复本信度（alternative-form reliability） 使用复本对同一受试加以评量：可连续或隔一段时间 连续：等值系数 间隔一段时间：稳定与等值系数 相关系数 信度的种类-2 同等信度（equivalence reliability）：内部一致性信度 Cronbach Alpha Kuder-Richardson KR20/21 (二分) 折半信度 (多选) Hoyt ANOVA 评分者信度（inter-rater reliability） Kappa系数 Kendall和谐系数 相关系数 ICC (Intraclass correlation) 信效度示意图 信度与效度之关系 效度是信度的充分条件 有效度就有信度 没有效度未必没有信度 信度是效度的必要条件 没有信度就没有效度 有信度未必有效度 信度的平方根是效度的最大值 《分析》→《降维》→《因子分析》 选择变量与描述统计 判断因子数目的方法 直交及斜交转轴 KMO指数、共同性、方差 碎石图 正交转轴 斜交转轴 《分析》→《度量》→《可靠性（信度）分析》 选择变量及统计量 报表-1 报表-2 报表-3 本单元结束 * * 无信度也无效度 有信度但无效度 有效度也有信度