资讯检索系统测试集之比较.pptVIP

topic_id編號/topic_id01020304組成結構description簡短的資訊需求,主要為名詞與其修飾語 構成的名詞詞組/descriptionnarrative詳細的資訊需求,以自然語言敘述,通常為2 至3個句子組成,亦包含名詞解釋,同義詞 或實例./narrativedescription欄位中的詞彙必須包含在narrative欄位中IREX～查詢主題資訊檢索系統測試集之比較

圖書與資訊學刊第29期(1999年5月)by江玉婷，陳光華

台大圖資所碩士論文測試集(TestCollections)文件集(DocumentSet;DocumentCollection)查詢問題(Query;Topic)相關判斷(RelevantJudgement)根據不同的目的而有不同的評比項目量化的測量準則，如Precision與Recall組成要素評比用途設計與發展:系統測試評估:系統效能(Effectiveness)之測量比較:不同系統與不同技術間之比較測試集(TestCollections)(續)早期:Cranfield英文:SMART,OHSUMED,CysticFibrosis,LISA….日文:BMIR-J2小型測試集美國:TREC日本:NTCIR,IREX,歐洲:AMARYLLIS大型評比環境:提供測試集及研討的論壇1比較33種不同索引方式之檢索效益3請每位作者根據這些文件與其當時研究的主題提出問題，經篩選後產生200餘個查詢問題2蒐集1400篇有關太空動力學的文件(摘要形式)CranfieldIICranfieldII(Continued)CranfieldII測試集中相關判斷建立四個步驟首先請提出查詢問題的建構者對文件後所附之引用及參考文獻進行相關判斷接著請五位該領域的研究生將查詢問題與每篇文件逐一檢視，共花了1500小時進行了50萬次以上的相關判斷，希望能找出所有的相關文件。為了避免前述過程仍有遺漏，又利用文獻耦合的概念計算文件間之相關性，發掘更多的可能相關文件。若有兩篇以上的文獻共同引用了一篇或多篇論文，則稱這些文獻間具有耦合關係。最後，將以上找出的所有文件，再一併送回給原作者進行判斷。TREC:TextREtrievalConference01主辦:NIST及DARPA，為TIPSTER文件計劃之子計劃之一02文件集5GB以上數百萬篇文件03TREC～簡介TREC文件集TREC之文件標示TREC-1andTREC-2查詢主題TREC-3查詢主題TREC-4查詢主題主題結構與長度主題建構主題篩選pre-search判斷相關文件的數量TREC～查詢主題TREC-6之主題篩選程序判斷方法PoolingMethod人工判斷判斷基準:二元式,相關與不相關相關判斷品質完整性一致性123TREC～相關判斷STEP1STEP2STEP3針對每個查詢主題，從參與評比的各系統所送回之測試結果中抽取出前n篇文件，合併形成一個Pool視為該查詢主題可能的相關文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構者進行相關判斷。利用此法的精神是希望能透過多個不同的系統與不同的檢索技術，盡量網羅可能的相關文件，藉此減少人工判斷的負荷。Pooling法TREC候選集合與實際相關文件之對照表TREC～評比TREC～質疑與負面評價測試集方面查詢主題並非真實的使用者需求,過於人工化缺乏需求情境的描述相關判斷二元式的相關判斷不實際poolingmethod會遺失相關文件,導致回收率不準確品質與一致性效益測量方面只關注量化測量回收率的問題適合作系統間的比較,但不適合作評估TREC～質疑與負面評價(續)評比程序方面互動式檢索缺乏使用者介入靜態的資訊需求不切實際第一個日文資訊檢索系統測試集BMIR-J1:1996BMIR-J2:1998.3文件集:主要為新聞文件每日新聞:5080篇經濟與工程發展單位:IPSG-SIGDS查詢主題:60個BMIR-J2～簡介01以布林邏輯結合關鍵詞檢索1-2個IR系統02由資料庫檢索者做進一步的相關判斷03由建構測試集的人員再次檢查B