基于CTT_GT_IRT的评分者_省略_究_以某届奥运会女子跳水决赛为例_钟晓玲.pdf

２０１３年第５期 Ｎｏ．５，２０１３ （总第４０期） ＥＸＡＭＩＮＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ Ｇｅｎｅｒａｌ Ｎｏ．４０ 基于ＣＴＴ、ＧＴ、ＩＲＴ 的评分者信度研究 ———以某届奥运会女子跳水决赛为例 钟晓玲　 康春花　 陈　 婧 ［摘 要］ 本文以某届国际奥林匹克运动会女子跳水决赛为例，综合应用　 　 ＣＴＴ、ＧＴ和ＩＲＴ三大测量理论进行评分者信度分析，从不同角度揭示评分者之间和 评分者内部的差异情况。结果表明：ＣＴＴ 的评分者信度分别为０．９８１和０７８；ＧＴ 的概 化系数和可靠性指数分别为０．８２７９和０．８２７１，比赛中所采用的７ 名评委分别对选手 在 轮上的跳水表现进行评定的决策是比较适宜的决策；在 中，相对而言，评委 ５ ＩＲＴ ５在７ 名评委中最为严厉，评委２ 最为宽松，但评委之间在宽严程度上的差异不显 著，评委１和评委４在自身一致性上存在问题，不同评委在评定不同选手、不同难度 系数动作和不同轮数上存在偏差，但未达到显著性水平。基于本文的分析，可以了解 三种评分者信度分析方法的特点及各自优势，为评分者培训和提高评分信度提供有 用信息。 ［关键词］　 评分者信度；经典测量理论；概化理论；多面Ｒａｓｃｈ模型；跳水决赛 　 Ｇ４２４．７４　 　 Ａ ［中图分类号］ ［文献标识码］ （ ） ［文章编号］　 １６７３－１６５４ ２０１３ ０５－０４１－０１２ 的精度，通常需要由多个评分者对其表现重 一、引言 复进行评定，与传统的单一评定相比，测验情 境由于引入了多重评定而变得更加复杂。这 在教育测验和人事测评及竞技体育中， 种评分者自身以及不同评分者之间在多次评 为考察学生、应聘者或运动员的多方面特质， 定中，评分准确性（Ａｃｃｕｒａｃｙ ／ Ｉｎａｃｃｕｒａｃｙ）、 主观试题、结构化题型和表现性评价的重要 宽严度 （Ｈａｒｓｈｎｅｓｓ ／ Ｌｅｎｉｅｎｃｙ）和集中度 Ｃｅｎｔｒａｌｉｔｙ／ Ｅｘｔｒｅｍｉｓｍ 地位日益突显。在这种情况下，为控制评分 （ ）的不一致性，会直接 偏差，提高评分质量及对被评分者能力估计 导致评分结果信度的降低，这种现象称为评 作者简介　 钟晓玲，硕士研究生，浙江师范大学教师教育学院；康春花，副教授，浙江师范大学教师教育学 院；陈婧，硕士研究生，浙江师范大学教师教育学院。浙江金华，３２１００４。 本文为浙江省哲学社会科学规划基金（项目编号： １０ＣＪＹ１５ＹＢＢ）、浙江省教育厅课题（Ｙ２０１０１１７７８６）及浙 江省教师教育基地２０１１招标项目的阶段性研究成果。 — ４１ — 《考试研究》 年第 期（总第 期） ２０１３ ５ ４０ 分者效应（Ｒａｔｅｒ Ｅｆｆｅｃｔｓ）（Ｗｏｌｆｅ，２００４）。其 中，评分者信度（ｒａｔｅｒｓ ｒｅｌｉａｂｉｌｉｔｙ）指的是评 二、评分者信度分析方法综述 分者在给相同被试评分时的一致程度。评分