华语文能力测验电脑与纸笔测验试题难度比较研究-国家华语测验推动.PDF

華語文能力測驗電腦與紙筆測驗試題難度 比較研究 藍珮君 林玲英 martinalan@.tw hopelin.top@ 國家華語測驗推動工作委員會 摘要 本研究目的為 探討在紙筆測驗 與電腦化測驗 兩種不同的 施測介面下，考生於 華語文能力測驗(TOCFL)基礎、進階、高階以及流利級四個等級的測驗成績以及 試題難度 參數的可比性 (comparability) 。 研究設計 採用共同組法(single group design) 以及對抗帄衡法(counterbalanced design) ，收集考生在紙筆測驗與電腦化測驗的作答表現 ，進行兩種施測介面的測 驗總分、聽力與閱讀成績t考驗、試題難度參數差異比較，以及試題難度參數積 差相關分析。 研究結果發現 ：1. 四個測驗等級中，僅基礎和進階級的聽力理解測驗得分t 考驗達到顯著差異，但效果量相當小，顯示測驗介面對於考生成績的影響很小 ； 2.試題難度 方面，基礎、進階、高階以及流利級測驗難度參數差異較大的試題 佔總題數 比例均不到一成；3. 四個測驗等級共八個分測驗的紙筆測驗和電腦化 測驗試題難度參數間有高度正相關存在 。整體來說， 華語文能力測驗(TOCFL) 電腦與紙筆介面之間具有可比性，考生的成績表現幾乎沒有不同，也僅有少數試 題在不同介面的難度參數有所變動。最後 ，研究者 針對難度參數變化較大的試 題，諮詢並整理專家意見，提出可能的解釋與建議 ，供未來命題做為參考。 關鍵字： 紙筆測驗、電腦化測驗、試題難度參數 前言 21 世紀的今日 ，電腦和網際網路逐漸成為 生活中不可或缺的一部份 。國際 電信聯盟 (International Telecommunications Union, ITU)估計，2010 年已開發國家 有 71.0%的家庭擁有電腦；開發中國家有 22.5%的家庭有電腦，而已開發和開發 中國家 分別有 65.6%和 15.8%的家庭擁有網路 。根據comScore在 2008 年12 月 針對 15 歲以上網路族(在家中或公司上網者所做的調查，目前全球網路人口已) 超過十億大關引自( 行政院研究發展考核委員會 ，2010) 。顯現隨著科技的進步， 電腦以及網際網路的使用已日漸普及 。 在教學或教育的影響上，學校與教學單位開始 採用電腦或多媒體作為教學的 輔助工具 ；在評量方面，過去常用的紙筆測驗不再是唯一考量，特別是大型考試 。 由於電腦化測驗 (computer-based tests ，CBT的許多優點，如：) 無頇大量印刷題本 及運送、可即時計分、施測程序更為標準化 ，已有許多大型語言測驗發展並實施 電腦化測驗或電腦適性化測驗 (computerized adaptive tests ，CAT) ，如： TOEFL-iBT 、GRE 、BULATS 等。 由國家華語測驗推動工作委員會 簡稱華測會( 研發之華語文能力測驗) (Test of Chinese as a Foreign Language ，簡稱TOCFL ，前稱為TOP) ，自2003 年12月 在台灣第一次舉行正式考試以來，至今在台灣以及海外各地已累積二萬多名考 生。在維持並提升試題品質的同時， 華測會也不斷思考如何提供給考生更為便利 的服務和更佳的施測品質。從 2009 年起，委託國立台灣師範大學心理 與教育測 驗研究發展中心，開發華語文能力測驗的電腦化測驗 系統，經過多次的測試及預 試 ，已 於2011 年5月於台灣舉行電腦化測驗第一次正式考試。 雖然台灣地區目前預試和正式考試均採用電腦化測驗，但 海外地區受限於施 測方式為區域網路，非透過網際網路傳輸，短期內仍需採用紙筆測驗進行施測。 且未來有些地區可能因場地與電腦設備問題，僅能實施紙筆測驗。在同時提供紙 筆和電腦兩種施測形式的狀況下，必頇確認電腦測驗與紙筆測驗試題難度參數是 否相當 ，考生的測驗表現不會受到測驗