测评的结果和质量分析.ppt

测评的结果和质量分析 本章内容 可靠性分析 信度的含义、分类、估算 影响信度的因素 有效性分析 效度的含义、分类、估算 影响效度的因素 质量分析 适合度、区分度 项目的独立性 结果的转化 标准分数、常模 测量的误差及其检验 误差是指在测量中与目的无关的因素所产生的不准确或不一致的结果。 误差的种类 随机误差、系统误差 误差的原因 测验自身、施测过程、被试 一、可靠性分析 1.1 信度的含义： 信度指测评与选拔结果的准确性或一致性程度。 1.2 信度的分类： 再测信度 复本信度 内在一致性信度 （1）重测信度 含义： 指同一测验在间隔一段时间先后两次测试同一组被试所得两次分数的一致性程度。 估算方法： 稳定系数 （2）复本信度 含义 同一测验的不同版本（副本）对同一组被试测验结果的一致性程度。 估算方法： 等值系数 （3）内在一致性信度 含义 指所测素质相同的各测评项目分数间的一致性。 估算方法： 内在一致性系数 项目折半分析 a 系数 （4）评分者信度 含义 多个测评者对同一组被测样组进行评分的一致性程度。 估算方法： 肯德尔和谐系数 一、可靠性分析 1.3 影响信度的因素： 测评者 被测者 测评工具 测评环境 二、有效性分析 2.1 效度的含义 效度是测验有效测量测量目标的程度。 2.2 效度的分类 内容效度 结构效度 关联效度 （1）内容效度 指测题选择的恰当性，也就是测验题目对整个测量内容的代表性。 内容效度高指测题对整个测量内容的覆盖面广，测题是测量内容中的重点、要点和主要的实质性内容。 内容效度一般由专家通过资料研究和逻辑分析而作出判断。 （2）结构效度 指测验结果与理论构想的一致性。 测验内的方法：通过研究测验内部结构来评估测验的结构效度，如搜集内容效度资料、统治信度资料、项目相关资料等。 测验间的方法：通过与其它测验的比较来评估新测验的结构效度。 （3）关联效度 含义：效标资料与测验结果的一致性。 根据效标与测验分数是否可以同时获得，分为同时效度和预测效度。 同时效度：效标资料与测验分数同时获得，预测后马上可以估计效度。 预测效度：效标资料要在测验以后较长一段时间后才能获得。 二、有效性分析 2.3 影响效度的因素： 测评者 被测者 测评工具 效标因素 信度因素 三、质量分析 3.1 项目的适合度 指测验项目的难易程度 3.2 项目的区分度 反映测评工具区分应试人心理特征差异性的指标。 3.3 项目的独立性 指测验项目之间不相关或者低度相关。 3.1 项目的适合度 影响项目适合度的因素 内容本身的难易程度 测验的编制技术 被试的知识经验有关 测验的适合度具有相对性。正因为如此，必须进行试测。 3.1 项目的适合度 （1） 是非题、选择题，用通过率来表示适合度 P=R/N R ——试题答对或通过该项目的人数 N ——全体考生人数 3.1 项目的适合度 （2）多项选择 CP=(KP-1)/(K-1) CP—— 校正后的试题适合度 P ——校正前的试题适合度 K ——选择项的数量 校正后的适合度值要低于校正前的适合度值。 一般认为适合度在0.3—0.7比较合适，整份 试卷的适合度指最好把握在0.5左右。 3.1 项目的适合度 （3）论述题 P=X/Xmax X 全体被试在某一项目上的平均分 Xmax 该项目的满分 3.1 项目的适合度 难度的大小是否合适还取决于测试目的； 同时，与测试分数的分布有关。 3.2 项目的区分度 P=(PH+PL)/2 PH ——高分组的通过率 PL ——低分组的通过率 D=PH－PL D 区分度指数 区分度指数高，区分能力越强 3.2 项目的区分度 区分度与难度的关系 四、成绩的标准化 指测验的编制、实施、计分和解释程序的一致性。 测验计分和解释的标准化，只要有详细同意的标准，并且测验分数只能与一个确定的参照标准相比较。 参照标准有标准参照、常模参照。 标准参照 名次 百分位法：PR=100-(100R-50)/N Z分数：Z=(X-X)/S . S为原始分数的标准差 T分数：T=100Z+50 标准九分：4% 7% 12% 17% 20% …… C量表分数：1% 3% 7% 12% 17% 20% …… 斯坦分数：２% ５% ９% 1５% 1９% …… 常模 指一个标准化测验在一个具有代表性的被试样本上的分数分布。 常模反映某一团体在测验上的得分情况，最重要的是平均数和标准差。 常模具有区域性和时间性。 * * 分数 分数 人次 人次 P D *