[教育学]教育统计与测量-测量质量分析.ppt

测量质量分析 难度与区分度 信度与效度 为了使测验得到的分数准确可靠，我们要求使用的测验是高质量的，因此必须对分析测验的质量，而测验又是由一个个题目或者说测试项目所组成，整个测验质量要高，必然要求各个题目的质量要高。 因此分析一个测验的质量，一般就要从两个方面来进行：一是考察整个测验的质量指标，即考察测验效度与信度；二是考察所含项目的质量指标，即考察测验项目的难度和区分度。 测验项目的难度 测验项目的难度，就是被试完成项目作答任务时所遇到的困难程度。 有的项目很容易，几乎所有初试都能正确完成作答任务；有的项目却很难，只有少数高水平被试能正确完成任务。 困难的项目，被试在其上得分的可能性就小，失分的可能性就大；容易的项目，被试在其上得分的可能性就大，失分的可能性就小。 总之，每一个测验项目都有自己的难度；不同项目间其难度常常是不同的。 定量刻画一个测验项目的被试作答困难程度的量数就叫项目的难度指数或难度系数。 难度系数的求法 最通用的项目难度系数的求法就是计算被试在项目上的得分率或者说通过率。 像选择题这种测验项目，评分采取“全或无”的方式，答对给满分，答错给零分，难度指数就可以求通过人数比例或称通过率。 对于不采用“全或无”的方式给分的测验项目，难度系数的求取方法是先求所有被试在该项目上的平均得分值，可记为 ；再用它去对测验项目总分（满分），可记为K，求比值，这个比值就是全体被试在该测验项目上的得分率即难度指数p了。 例如，有一满分值K=5的试题，测试10名被试，实得成绩为5,3,4.5,2,5, 0, 3.5, 1,3, 4 要求其难度指数p。 先求平均得分 然后用平均得分值对满分值求比 整体试卷的难度，就是全体被试测验的总分平均值与全卷满分的比值。 有人觉得用得分率p来表示难度别扭，主张用失分率q来作为难度指数。 得分率p是可以与失分率q相互转换的，q=1-p。我们一般用得分率p来表示难度，但也有人用失分率q来表示难度，所以当我们听取人家报告难度系数时，一定要弄清是指p还是q值 不同目的的测试，测验难度系数要求也不相同。一般的标准化测试，目的是要尽可以把握住被试的个别差异，因此希望测验后所有被试的分数“尽可能拉开距离”。这样，测验项目的恰当难度，就应该是p值尽量接近0.5. 如果一个测验对某一被试团体来说，难度相对显得大，那么，被试团体中大多数人就会得低分，被试总分分布就会形成正偏态分布； 如果相反，难度相对显得小，被试团体中就会有很多人得高分，总分分布就会形成负偏态。 区分度 项目区分度就是项目区别被试水平高低的能力的量度。 项目是用来测试被试水平高低的；在所测特质上，被试水平也不会人人相等，总是会有高低水平差异的。倘若，高水平被试，在测验项目上能利市中分，而低水平被试则只能得低分，测验项目区分被试高低的能力就强；如果高水平被试和低水平被试在测验项目上所得分数并无差别，项目提供不出被试水平差异的信息，它的区分能力就弱，更糟糕的是，高水平被试在测验项目上反而得低分，低水平被试在测验项目上所得分数却不低，这种项目的性能就跟 测验目的相违背，只会起破坏作用。 所以，项目区分度是测验性能的一个重要指标，说明的正是项目对测验目的来说的有效性程度 区分度指数的求法 计算被试在该项目上的得分与其测验总分的相关系数。如相关一致性高就认定该项目区分力强；如果相关低，甚至负相关，就认定为区分力弱整形无效的项目。 这里，确定项目区分度的标准就是测验总分，要考察总分高的被试在该项目上是否也得高分，总分低的被试在该项目上是否也得低分。显然，这种标准就是测验内部而非测验外部标准。 项目① 计算项目①的区分度指数，也就是计算被试在该项目上的得分与总分的相关系数。 项目①为二分称名变量，总分为连续变量，该用哪种相关法？ 答对被试的比率为：p=18/30＝0.6 答错被试的比率为：q=0.4 答对被试的总分平均成绩:(100+100+98+…+) ÷18=69.94 答错被试的总分平均成绩：(90+79+89+…+0) ÷12=59.42 所有被试总分标准差：29.23 项目② 项目2与总分都为连续变量，应该采用哪种相关方法呢？ 积差相关的公式为： 采用软件分析，得到结果为 高低分组法 求取项目区分度指数的主要办法，是求题分与总分的相关系数。但是，还有一种“高低分组求得分率差”的办法。 方法：将全体被试按总分寡加以排队，然后取得分最多的27%的被试作为“高分组”，得分最少的27%的被试作为“低分组”，最后求这两个组上项目得分率（通过率）的差来作为区分度指数的取值。 D＝PH –PL 以上面的30名被试为例 先将30名被试的总分从高至低排序 30人的27%：30*27%＝8.1＝8（人） 计算高分组8人的得分率PH：PH1＝0