确率伝搬法.PPT

RMMFA2004 （2004年9月7日） 平均場近似の数理---確率伝搬法という名の物理と情報の交差点--- 東北大学 大学院情報科学研究科 田中　和之 kazu@statp.is.tohoku.ac.jp http://www.statp.is.tohoku.ac.jp/~kazu/ 平均場理論が何故情報処理に有効？ 確率的情報処理と平均場理論 この時間の主な内容 確率についての基礎知識の復習 確率的画像処理における平均場理論と確率伝搬法 確率推論における確率伝搬法 確率の知識（１） 確率の知識（２） 確率の知識（３） この時間の主な内容 確率についての基礎知識の復習 確率的画像処理における平均場理論と確率伝搬法 確率推論における確率伝搬法 画像修復の確率モデル ベイズの公式と確率的画像処理 周辺尤度最大化によるハイパパラメータ推定 画像修復の劣化過程と事前確率 周辺確率の導入 平均場近似 平均場近似 確率伝搬法（ベーテ近似） 確率伝搬法におけるメッセージ更新規則 固定点方程式と反復法 画像修復 事前確率から生成された原画像に対する数値実験 対数周辺尤度 事前確率から生成された原画像に対する数値実験 ガウシアングラフィカルモデルを用いた画像修復 ガウシアングラフィカルモデルを用いた画像修復 確率的画像処理の今後の動向 この時間の主な内容 確率についての基礎知識の復習 確率的画像処理における平均場理論と確率伝搬法 確率推論における確率伝搬法 確率推論に使う確率の知識 簡単なベイジアンネットの例 閉路のないグラフ上の確率伝搬法 扱い易いモデルと計算困難なモデル より複雑なベイジアンネット より複雑なベイジアンネット 周辺確率分布 この場合の確率伝搬法の基本方針 確率伝搬法の固定点方程式 固定点方程式と反復法 数値実験 数値実験 ベイジアンネットの今後の動向 本講義を通してのまとめ モノの理とコトの技の接点としての平均場理論 キーワードは「ベイズの公式」と「たくさんが関連」 ゆらぎを巧みに扱えるシステムのデザイン 本講義で取り上げる題材の出典 画像処理：K. Tanaka, H. Shouno, M. Okada and D M Titterington，Accuracy of the Bethe approximation for hyperparameter estimation in probabilistic image processing，J. Phys. A: Math. Gen., Vol.37, No.36, pp.8675-8696 (2004) 確率推論：K. Tanaka, Probabilistic Inference by means of Cluster Variation Method and Linear Response Theory, IEICE Trans. on Information and Systems, Vol.E86-D, No.7, pp.1228-1242 (2003). 本講義の参考文献 西森秀稔，田中和之他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999年12月号. K. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J. Phys. A: Math. Gen.,vol.35, no.37, pp.R81-R150, September 2002. 田中和之?樺島祥介編, “ミニ特集/ベイズ統計?統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号 甘利俊一，池田和司，田中和之，田中利幸他著, “特集/統計科学の最前線　― 新しい情報科学への技術と手法 ―”, 数理科学2004年3月号. 田中和之，田中利幸，渡辺治，喜多一，堀口剛他著，“連載/確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---”，数理科学2004年11月号から開始． A B C A B C A B C 閉路が無いことが重要!! 同じノードは２度通らない どの枝もそれぞれで独立に和がとれる． それぞれで独立に和をとることが困難． 閉路のないグラフィカルモデル 閉路のあるグラフィカルモデル 複雑になるほどノードの個数は多くなり計算困難が深刻になる 信念 （Belief） 確率伝搬アルゴリズム 固定点方程式 反復法 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． Belief Propagation Exact 確率伝搬法 自動化が急務． パラメータのデータからの学習 EM アルゴリズム クラス