试题呈现与回馈模式对Angoff标准设定结果一致性提升效益之.PDF

試題呈現與回饋模式對Angoff標準設定結果一致性提升效益之比較研究 試題呈現與回饋模式對Angoff標準設 定結果一致性提升效益之比較研究 吳宜芳 美國愛荷華大學教育測驗統計研究所博士生 鄒慧英 國立臺南大學測驗統計所教授 摘 要 在標準設定的眾多方法中 ，Angoff法及其相關變形 、延伸與修正程序 等 ，實為教育實景中相當普及的標準設定流程 。然而 ，執行Angoff標準設定 方法的設定者在概念化最低能力受試者 、估計其答題概率時 ，面臨相當大的 認知挑戰 。試題特徵 （如 ：試題難度）對設定者間或設定者內一致性的影 響 ，可能影響最後產出標準的效度 。基於此 ，本研究試圖以實徵P值排序回 饋 、Reckase表回饋與試題呈現分類與否等做法融入修正Angoff法的標準設 定程序 ，以促進設定結果的一致性 ，並從中比較前述作法融入設定程序之優 劣 。 本研究係為測驗結束後所進行之標準設定研究 ，屬於事後做決定型 ， 研究中探究不同回饋模式及試題是否分類呈現對標準設定結果之影響 ，藉以 比較二種作法的優劣 ，此為本研究之獨特性所在 。其次 ，透過這二種修正作 法 ，期能使設定者對於試題難度有較佳的察覺 ，進而改善設定間或設定者內 一致性 ，提高設定結果的一致性 ，並對標準之效度有所助益 ，是為本研究在 功能性之貢獻 。 關鍵詞：Angoff法、Reckase表、試題預先分類、標準設定 教育研究與發展期刊（第六卷第四期） 2010.12 47 Journal of Educational Research and Development 試題呈現與回饋模式對Angoff標準設定結果一致性提升效益之比較研究 Evaluating the Utility of Different Item Presentation and Feedback Approaches with the Modified Angoff Method Yi-Fang Wu Ph.D Student, Educational Measurement and Statistics, University of Iowa Hueying Tzou Professor, Graduate Institute of Measurement and Statistics, National University of Tainan Abstract Numerous standard setting methods have been developed to assist panels in estimating the performance of the borderline examinees. Among them, the Angoff method is one of the most popular judgmental standard setting procedures. Its extensions, modifications, and variations are often applied in practice. In standard setting, panelists hold an important role, especially in the judgmental methods such as the Angoff method and its variations. The ability of panelists to accurately estimate the borderline exam