复数文书自动要约.PPT

2007-01-29 東京大学情報理工学系研究科?博士本審査 Research on Information Aggregation and Integration for Multi-Document Summarization 東京大学大学院情報理工学系研究科 電子情報学専攻?石塚研究室 博士課程３年　37406　岡崎直観 情報爆発と情報過多 到達可能なWebサイトのドメイン数 (NetCraft) 5,000万（2004年5月）→ 1億（2006年11月） ANA61便のハイジャックに関する文書数 (Google) 5,860,000 (“hijacking”) → 9,910 (+ “ANA 61”) 情報過多と自然言語処理 情報検索 (information retrieval) 大量の文書集合からキーワードに基づいて文書を検索する 検索は情報を得るための有力な手段として浸透しつつある 動的に文書を集めるため，検索結果は構造化されていない 質問応答 (question answering) 自然言語で与えられた質問に直接的に対応する答えを返す 情報抽出 (information extraction) あらかじめ定義された表（テンプレート）を埋める 評判情報抽出 (sentiment analysis) 特定の製品，会社など関する良い意見／悪い意見を収集 複数文書自動要約 複数文書自動要約 [Radev and McKeown 98] ユーザーは検索システムを使って文書集合を得る 検索結果の文書集合から，有用な情報を文章として提示する 本システムが作成した要約例 タンザニア、ケニアでの米国大使館爆破事件（10記事） 東アフリカ、ケニアの首都ナイロビと隣国タンザニアの首都ダルエスサラームの米大使館近くで７日、ほぼ同時に起きた爆破テロ事件は８日未明現在、死者８９人、負傷者は１７００人に達した。 ケニアとタンザニアの米大使館を標的に七日発生した同時爆破テロ事件で、トーマス?ピカリング米国務次官はの会見で、米大使館を狙った組織的、計画的犯行との見解を明らかにした。 身元が確認された米人死者は、大使館職員のアーリーン?カークさんと、大使館付武官のケネス?ホブソン陸軍軍曹の二人にとどまっている。 タンザニアの米大使館同時爆破テロで、両国の警察当局は合計十数人を拘束している。 関連研究: Google News 人間が要約を行うプロセス Endres-Niggemeyer [1998] は，要約を職業とする6人の作業を調べ，以下の3ステージにまとめた 文書構造の認識: タイトル，ジャンル，レイアウトを確認 入力文書の整形（例: HTML） 重要なトピックの認識: 文書を特徴付けるトピックを認識 文書を内部表現に変換して，重要箇所を言い当てる 要約の生成: できる限り「コピー＆ペースト」で要約を作成する（要約者は情報を生成してはならない） 重要箇所抽出，並び替え，文の編集 複数文書自動要約の課題 複数文書自動要約の課題 異なる情報源からの情報の集約（重要箇所抽出） 入力文書で共通に述べられている事項に着目 冗長な要約は避ける 異なる情報源からの情報の統合（文章構造の再構築） 抽出文の並び替え 照応解析?解消 固有名詞の統一化 複数の文の統合 要約システムの概要 発表内容 複数文書自動要約で重要なサブトピック 複数文書自動要約向けの重要文抽出 「どの文を要約に含めるべきか？」 要約文章の構築に向けた抽出文の並び替え 「文をどのように並べて文章にするか？」 括弧表現に着目した言い換え表現の抽出 「冗長な用語をどのように短くすればよいのか？」 結論 複数文書自動要約向けの重要文抽出 重要文抽出 複数文書要約向けの重要文抽出 文書集合から要約に含めるべき文を選ぶ 多くの文の中から決められた分量の文を選ぶ 要約文に含めるべき情報を認識する 文書集合には冗長な内容が含まれている可能性がある 同じ情報を重複して抽出することは避ける 複数文書要約システムでは中心的役割を果たす 常に文法的に正しい要約文を得ることができる 要約文の生成や文の統合は難しい 入力文がたくさんあることが仮定できるのであれば，良質な文を選ぶことに注力するほうが，要約の質が上がる 複数文書向け重要文抽出の関連研究 文の内容の表現（近似）方法について考える BOW [Salton 75]，n-gram [Lin Hovy 02]，係り受け関係 [Okazaki 04]，PrefixSpan [平尾 03]，類似関係 [Okazaki 03]，タグ付け文書（GDAなど） [長尾 98; 綾 05]，格文法 文（内容）の重み付け方法 TF*IDFなどの統計的手法によるもの [S