P2Pを活用した小規模データベースの約化.pptVIP

P2Pを活用した小規模データベースの集約化 大阪市立大学大学院 創造都市研究科 藤田昭人 はじめに 個人アーカイブ 個人が維持?管理するスタンドアロン論文データベース 公開論文アーカイブ（ CiteSeerなど）から取得した論文メタデータを管理する 論文データの格納場所（URL）を示すと共にローカルにキャッシュする 本研究のテーマ：　多数の個人アーカイブをネットワーク経由で共有する　　　→　個人アーカイブの核となる小規模データベースの集約化 メタデータの冗長保存により耐障害性が向上する 公開論文アーカイブ?サービスのシステム負荷を軽減する 利用者が作成する２次的情報（要約やコメントなど）も共有できる ◎　十分に多数の個人アーカイブを集約できれば公開論文アーカイブに　匹敵する収蔵論文の網羅性が確保できる 小規模データベースの集約化 個人アーカイブ相互でのデータ共有からの要請 可能な限り多くのノードが接続できることが望ましい 携帯型情報機器（ノートＰＣ）などのサポートが前提 既存の分散データベース技術活用での問題 分散アーカイブとしてのスケーラビリティ ネットワーク接続状態の動的な変化 ◎個人アーカイブのネットワークは自律分散型の分散システムとして機能する必要がある 小規模データベースの集約方法 自律分散システムとしてP2Pに注目 分散データベースに対するP2Pシステムの相違点* ノードの接続?離脱（自律的に接続?離脱） クエリ対象の配置（任意のノードに存在可能） クエリ応答（全てのノードからクエリ応答があるとは限らない） →分散ハッシュテーブル(DHT)の活用により改善される データの構造定義（全てのノードで共有されるスキーマがない） DHT上でのスキーマ共有の実現 DHTの問題点 データのルックアップにはハッシュを使用しなければならない クエリにおいて対象データの構造（スキーマ）を仮定できない 解決策： ハッシュを使ってデータとスキーマを表現する DHTで使用されるハッシュ コンテント?ハッシュ (Content Hash) 格納データに基づくハッシュを使用する データ更新時の競合を考慮する必要がない コンシステント?ハッシュ (Consistent Hash) 格納データの内容に依存しないハッシュを使用する データ更新時の競合を考慮する必要がある ハッシュを使ったデータとスキーマの表現 データとスキーマの対応付けを含めた表現 → テーブル データベース内のテーブルをハッシュ?ブロックとして表現 テーブルをスキーマとレコードに分割 各々をコンテンツ?ハッシュ化 スキーマ?ブロックおよびメタデータ?ブロックのハッシュ?キーのリストをコンシステント?ハッシュ化 テーブルのハッシュ化 ハッシュ化テーブルに対する検索 ネットワーク上に分散する複数のハッシュ化テーブルに対して検索を行う 検索はハッシュ化テーブルが存在する各ノードで並列して実行される 検索結果は検索を要求したノードのデータベースに新たなテーブルとして格納される 小規模データベース集約のための機能 個人アーカイブの論文メタデータ（文献情報）をノード間で共有するためには??? メタデータの公開 公開するメタデータをデータベース上のテーブルに登録する 該当テーブルをハッシュ化する ＤＨＴアルゴリズムにより決定されるノードにハッシュ?ブロックを格納する レコードリストが格納されたノードではバックアップのテーブルを作成する メタデータの取得 任意の複数のテーブルに対し選択条件を付与して検索を行う 各テーブルでの検索結果はレコード?リストとして受け取る レコード?リストに基づいてスキーマ?ブロックとメタデータブロックを取得する ローカル?データベース上に新規テーブルを作成する おわりに P2Pによる小規模データベースの集約化での技術的課題はクエリ応答の不確実性とスキーマの共有である アクセス可能な全てのノードからのクエリ応答を得るためには分散ハッシュテーブル(DHT)が活用できる DHT上でスキーマの共有を図るため、テーブルのハッシュ化およびそれを利用したメタデータの共有方法を提案した 現在 i3Chord および SQLite を利用したプロトタイプを開発中 * * Ng W.S., Ooi B.C., Tan K.L., Zhou A.: PeerDB: A P2P-based System for Distributed Data Sharing.　(ICDE ’03) メリット 問題点 Title Author ????????? URL Title Author ????????? URL Title Author ????????? U