画像情报特论授业资料.doc

画像情報特論　授業資料 ストリーミングソフトウェアについて 電子?情報通信学科　甲藤二郎 はじめに 画像情報特論のまとめとして、ストリーミングソフトウェア作成のための簡単なガイドラインについて説明する。 ストリーミング関連のフリーソフトウェア インターネット上には、ストリーミング関連のさまざまなフリーソフトウェアが公開されている。表1は、それらの代表例をまとめたものである。 表1: ストリーミング関連のフリーソフトウェア一覧 (a) ビデオ?オーディオ?コーデック関連 名称 URL mpeg_play (MPEG-1 Video) /frame/research/mpeg/mpeg_play.html Project Mayo (MPEG-4 Video) / ITU-T H.26L http://www.tnt.uni-hannover.de/js/project/vceg/ OggVorbis / その他 () / (b) ストリーミングシステム関連 名称 URL OpenH323 (ITU-T H.323) Mbone Tools (RTP/SDP/SIP/SAP) http://www-mice.cs.ucl.ac.uk/multimedia/software/ Apple Open Project (RTSP) /quicktime/ Project Mayo (RTSP) / その他 () / フリーソフトウェアの扱い方で、プログラミングの熟練度がわかる。 バイナリコードをダウンロードしてインストール (レベル1)。 tarボールをダウンロードして、configure make (レベル2)。 tarボールをダウンロードしてソースコードを改造。必要に応じて自作 (レベル3)。 この資料では、レベル3、すなわちソースコードの改造方法や自作方法について説明する。 自由課題 (マイク、スピーカ、カメラがあるとよい)： OpenH323プロジェクトのtarボールをダウンロードし、makeを行い、実行してみよ。 Mbone ToolesのVIC、RAT、SDRのtarボールをダウンロードし、makeを行い、実行してみよ。また、マルチキャスト実験を行ってみよ (LAN内であればマルチキャストルータの設定は不要)。 エンコーダとデコーダ 基本構成 今から8年ほど前のmpeg_playの登場以来、ビデオのソフトウェアデコードは当たり前となり、最近ではビデオのソフトウェアエンコードも可能である。図1はエンコーダとデコーダの基本構成を、表2はソフトウェア記述の基本構成を示している。 (a) ビデオエンコーダ (b) ビデオデコーダ (エンコーダの局所デコーダに同じ) 図1: ビデオエンコーダ?デコーダの基本構成 表2: ソフトウェアエンコーダ?デコーダの基本構成 (a) ビデオエンコーダ main() { 　　　init(); // 初期化 (メモリ確保、各種パラメータ初期化) 　　　while(1) { read(); // 画像ファイル読み込み encode(); // ビデオ?エンコード write(); // 圧縮ファイル書き出し 　　　} 　　　close(); // 終了処理 (メモリ開放、各種終了処理) } (b) ビデオデコーダ main() { 　　　init(); // 初期化 (メモリ確保、各種パラメータ初期化) 　　　while(1) { read(); // 圧縮ファイル読み込み decode(); // ビデオ?デコード display(); // 表示 (WIN32、X11等) 　　　} 　　　close(); // 終了処理 (メモリ開放、表示系の終了処理) } 表2のencode( ) 関数と decode( ) 関数の中身をもう少し詳しく書くと表3のようになる。さまざまな圧縮アルゴリズムに関するソースコードが公開されているが、関数名の違いこそあれ、構成はほぼ共通している。 表3: encode( ) 関数とdecode( ) 関数の中身 (a) encode( ) 関数 encode() { // ピクチャ処理 picture_header(); // 　ピクチャヘッダ書き出し while(slice) { // スライス処理 slice_header(); // 　スライスヘッダ書き出し while(macroblock) { // マクロブロック処理 motion_estimation(); // 　動き検出 motion_compensation();