江玉婷1998.4.21.ppt

資訊檢索系統測試集之比較 測試集 (Test Collections) 組成要素 文件集 (Document Set; Document Collection) 查詢問題 (Query; Topic) 相關判斷 (Relevant Judgement) 用途 設計與發展: 系統測試 評估: 系統效能(Effectiveness)之測量 比較: 不同系統與不同技術間之比較 評比 根據不同的目的而有不同的評比項目 量化的測量準則，如Precision與Recall 測試集(Test Collections) (續) 小型測試集 早期: Cranfield 英文: SMART, OHSUMED, Cystic Fibrosis, LISA…. 日文: BMIR-J2 大型評比環境: 提供測試集及研討的論壇 美國: TREC 日本: NTCIR, IREX, 歐洲: AMARYLLIS Cranfield II 比較33種不同索引方式之檢索效益 蒐集1400篇有關太空動力學的文件(摘要形式) 請每位作者根據這些文件與其當時研究的主題提出問題，經篩選後產生200餘個查詢問題 Cranfield II (Continued) Cranfield II測試集中相關判斷建立四個步驟 首先請提出查詢問題的建構者對文件後所附之引用及參考文獻進行相關判斷 接著請五位該領域的研究生將查詢問題與每篇文件逐一檢視，共花了1500小時進行了50萬次以上的相關判斷，希望能找出所有的相關文件。 為了避免前述過程仍有遺漏，又利用文獻耦合的概念計算文件間之相關性，發掘更多的可能相關文件。若有兩篇以上的文獻共同引用了一篇或多篇論文，則稱這些文獻間具有耦合關係。 最後，將以上找出的所有文件，再一併送回給原作者進行判斷。 TREC～簡介 TREC: Text REtrieval Conference 主辦: NIST及DARPA，為 TIPSTER文件計劃之子計劃之一 文件集 5GB以上 數百萬篇文件 TREC～查詢主題 TREC～相關判斷 判斷方法 Pooling Method 人工判斷 判斷基準: 二元式, 相關與不相關 相關判斷品質 完整性 一致性 Pooling法 針對每個查詢主題，從參與評比的各系統所送回之測試結果中抽取出前n篇文件，合併形成一個Pool 視為該查詢主題可能的相關文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構者進行相關判斷。 利用此法的精神是希望能透過多個不同的系統與不同的檢索技術，盡量網羅可能的相關文件，藉此減少人工判斷的負荷。 TREC～評比 TREC～質疑與負面評價 測試集方面 查詢主題 並非真實的使用者需求, 過於人工化 缺乏需求情境的描述 相關判斷 二元式的相關判斷不實際 pooling method會遺失相關文件, 導致回收率不準確 品質與一致性 效益測量方面 只關注量化測量 回收率的問題 適合作系統間的比較, 但不適合作評估 TREC～質疑與負面評價 (續) 評比程序方面 互動式檢索 缺乏使用者介入 靜態的資訊需求不切實際 BMIR-J2 ～簡介 第一個日文資訊檢索系統測試集 BMIR-J1: 1996 BMIR-J2: 1998.3 發展單位: IPSG-SIGDS 文件集: 主要為新聞文件 每日新聞: 5080篇 經濟與工程 查詢主題: 60個 BMIR-J2 ～相關判斷 以布林邏輯結合關鍵詞檢索1-2個IR系統 由資料庫檢索者做進一步的相關判斷 由建構測試集的人員再次檢查 BMIR-J2 ～查詢主題 Q: F=oxoxo: “Utilizing solar energy” Q: N-1: Retrieve texts mentioning user of solar energy Q: N-2: Include texts concerning generating electricity and drying things with solar heat. 查詢主題的分類 目的: 標明該測試主題的特性,以利系統選擇 標記: o(necessary), x(unnecessary) 類別 The basic function The numeric range function The syntactic function The semantic function The world knowledge function: NTCIR ～簡介 NTCIR: NACSIS Test Collections for IR 主辦: NACSIS(日本國家科學資訊系統中心) 發展背景 大型日文標竿測試集的需求 跨語言檢索的研究發展需要 文件集 來源為NACSIS Academic Confe