第二章文獻分析.docVIP

系統評估研究之文獻探討：從電子圖書館角度考量 Literature Review on System Evaluation Research： From the Perspective of Digital Library Chia-bin Chang 國立台灣大學法學院圖書分館館員 Librarian, Law Library, National Taiwan University E-mail：r5126006@.tw 【摘 要】 本文以文獻分析法分析系統評估之研究。首先介紹系統評估之標準、系統評估之方法、系統評估之大型實證研究，以做為電子圖書館評估研究之基本背景。其次介紹電子圖書館之評估研究，並將此部分之焦點集中於學者專家們所提及的電子圖書館評估指標。最後，並針對電子圖書館評估研究提出建議，包括系統評估宜從使用者角度進行評估、系統評估應考慮系統週邊人員之觀點、系統評估應廣及各層次之評估、系統評估應採用量化及質化兼具之方法及從事電子圖書館之使用者研究。 【Abstract】 This paper uses literature review method to analyze system evaluation research. It introduces researches on system evaluation criteria, system evaluation methods, and some empirical digital library evaluation researches. Finally, this article suggests that digital library evaluations should consider both system and user perspectives. 關 鍵 詞：電子圖書館評估；系統評估；電子圖書館 Keywords：Digital library evaluation；System evaluation；Digital library 壹、前言 資訊檢索系統評估在資訊科學中是一門歷史悠久的研究領域，至今已有40多年歷史。較早的評估研究從50年代即已開始，但直到1960年接受美國科學基金會（National Science Foundation）贊助後，相關研究領域才漸趨成熟。（註）早期學者進行系統評估研究時，多以回現率及精確率為評估標準，隨著評估實驗的進行，也將評估標準擴展至了包含回應時間、顯示格式、讀者找到相關文獻所花費的精力及成本因素等標準上。至於系統評估方法，也從早期的實驗法，逐漸融合問卷法、訪問法、觀察法及查詢過程記錄分析等方法。而系統評估實證研究，從大家耳熟能詳的Cranfield研究，到MEDLARS、SMART、STAIRS及TREC進行的一連串評估實驗，其研究成果已逐漸開花結果。 本文以文獻分析法分析「系統評估」之概念，共分為如下四部份進行探討：第一部份是系統評估之標準；第二部份是系統評估之方法；第三部份是系統評估之大型實證研究；第四部份是電子圖書館之評估研究。最後，並提出對電子圖書館評估研究之建議。 貳、系統評估之標準 系統評估標準一直是待突破的研究領域，有些學者主張用回現率及精確率評估系統即已足夠，有些學者則認為只利用此兩個測量值顯得相當不足，必須輔以其他的測量標準。綜合文獻，可將這些評估標準分為兩類：第一類是針對線上資訊檢索系統（包含一般資訊檢索系統及線上公用目錄）的標準而論，第二類是就網站（Web site）檢索引擎（search engines）的標準而論。 一、線上資訊檢索系統 1969年，F. W. Lancaster進行MEDLARS系統評估，其評估標準如下：1.資料收錄範圍2.回現率3.精確率4.回應時間5.顯示格式6.讀者找到相關文獻所花費的精力。（註） 1970年，B. C. Vickery整理系統評估標準，將其分為兩類，第一類是與資訊可得性（availability of information）相關的標準，包括資料收錄範圍、回現率及回應時間。第二類是與輸出結果選擇性（selectivity of output）相關的標準，包括精確率、文獻的可使用性及其顯示格式。（註） 1971年，Allen Kent提出以使用者觀點評估資訊檢索系統，他綜合Lancaster及Cyril Cleverdon的意見，認為系統評估標準應有下列六項：1.回現率2.精確率3.讀者找到相關文獻所花費的精力4.回應時間5.提供豐富資訊的能力（informativeness）及顯示格式6.文獻輸入資料庫內之規則。（註） 1979年，Eva L. Kiewitt評估ERI