第三讲信度与效度分析.ppt

同质性信度 同质性主要代表测验内部所有题目间的一致性。 当各个测题的得分有较高的正相关时，不论题目的内容和形式如何，其测验为同质的。 相反，即使所有题目看起来好像测量同一特质，但相关很低或为负相关时，其测验为异质的。 此外，对于一些复杂的、异质的心理学变量，采用单一的同质性测验是不行的，因而常常采用若干个相对异质的分测验，并使每个分测验内部具有同质性，这样每个分测验就能用来预测异质效标的某一方面。 评分者信度 评分者信度用于测量不同评分者之间所产生的误差。为了衡量评分者之间的信度高低，可随机抽取若干份测验卷，由两位评分者按评分标准分别给分，然后再根据每份测验卷的两个分数计算相关，即得评分者信度。 一般要求在成对的受过训练的评分者之间平均一致性达0．90以上，才认为评分是客观的。 当多个评分者评定多个对象，并以等级法记分时，可采用特定公式去估计评分者信度。? 估计信度的方法远不止上面介绍的几种，实际上有多少误差的来源，便有多少估计信度的方法。 所以，在考察测验的信度时，应根据情况采用不同的信度指标，原则上一个测验哪种误差大，便应该用哪种误差估计。 有时一个测验需要有几种信度系数，这样我们就能把总分数的变异数分成不同的分支加以考察。 影响信度的因素 信度多高是好的？ 一般情况下，标准化或学绩测验信度应在0.9以上 人格测验的信度应该0.8以上 教师自编学绩测验能达到0.6以上，就可以被认为是较高信度了 低于0.6的信度估计一般被认为不可接受。 效度要解决的问题 效度的定义 效度是指一个测验或量表实际所能测出其所要测的心理特质的程度。 一个测验的效度必须被反复验证，不断搜集、积累、整合效度资料。 效度的种类 内容效度指测验题目对有关内容或行为范围取样的适当性。 例如，在成就测验中，测验题目是根据教学大纲和教材内容适当抽出的，内容效度就是判断测验题目（内容）是否符合它欲测的目标。 确定内容效度的方法主要有两种： ①专家判断 即由有关专家对测验题目与原定内容范围的符合性作出判断； ②统计分析 克伦巴赫法：复本信度 再测法：测验成绩的变化 内容效度比：统计分析专家评定的一致性 构念效度，也称结构效度，指测验分数能够说明心理学理论上的某种结构或特质的程度。 在心理学上，所谓构念（construct）是指心理学理论所涉及的抽象而属假设性的概念、特质或变量,如智力、焦虑、机械能力倾向、成就动机等,通常采用某种操作性定义并用测验来测量。 确定构念效度的逻辑和方法 构念效度的心理测量学证据 内部一致性，测验的同质性指标说明项目在测量同一特质上是一致的 与其他测验的相关，新测验与类似的旧测验（公认的权威）之间的相关 发展变化，年龄效应、教育与训练效应 因素分析，EFA和CFA 效标关联效度指测验分数与效度标准的一致程度。 效度标准简称效标，是足以反映测验所欲测量或预测的特质的独立量数，并作为估计效度的参照标准。 之所以要以效标为参照，是因为心理特质无法直接测量，只能以某种能代表所要测量特质的外在表现作为替代。 飞行员的工作表现、工人的工作绩效 测验分数与效标的一致程度以二者的相关系数表示，这种相关系数称为效度系数。 效度系数越大,测验的效度越高。由于用相关系数这种统计数值表示，这种效度又称统计效度。 从操作上来讲，效标可以是多种事物，没有规定说一个效标应该由什么构成。 测验分数、一个具体的行为、精神病学的诊断、培训的费用、缺勤率等 效标的选取要满足几个条件 相关性 有效性 无污染 效标关联效度可分同时效度和预测效度。 同时效度指测验分数与当前的效标之间的相关程度，通常与心理特性的评估和诊断有关，常用的效标资料包括在校学业成绩、教师评定的等级、临床检查、其他同性质测验的结果等； 预测效度指测验分数与将来的效标之间的相关程度,它对人员的甄选、分类与安置工作等甚为重要,常用的效标资料包括专业训练的成绩和实际工作的成果等。 运用追踪法对行为表现作长期观察、考核和记录，以累积所得的事实资料衡量测验结果对将来成就的预测性。 三种效度策略的使用 对一个具体的测验来讲，并不总是需要收集所有效度形式的证据。收集效度证据的恰当策略取决于测验的目的。 内容效度最适合测量具体属性的测验，比如成就测验 构念效度最适合测量抽象概念的测验，如自我效能感、心理资本等 效标关联效度最适合用来预测结果的测验，如各种人事选拔测验 影响效度的因素 测验本身 长度 信度 效标 效标的选择 效标的信度 效标与测验之间的相关类型 样本的代表性 找到一篇教育或心理测验编制的论文 介绍并评价其编制程序及各项指标 也可以使用该测验的题目收集部分数据，进一步进行分析 评述该测验 字数3000字左右 * * 主讲：马晓辉 所谓真分数是指被测者在所测特质（如能力、知识、个性等）上的真