KTPs字幕撷取.pptVIP

KTPs字幕擷取100學年度上學期LAB603Meeting報告人：資訊碩一蔡勇儀指導教授：張元翔副教授日期：2011/09/20Effectiveandefficientvideotextextractionusingkeytextpoints,Z.LiG.Liu,X.Qian,D.Guo,H.Jiang,IETImageProcess.,2011,Vol.5,Iss.8,pp.671–683主要參考文章簡介–字幕重要性與擷取字幕的困難點擷取字幕方法–四大步驟：偵測、定位、追蹤、分段KTPs概念說明小波轉換(卡關中…)大綱字幕重要性：給予影(圖)片觀看者以最直觀的方式瞭解特定內容擷取字幕的目的：聲音比對、建立收尋資料庫系統、取得特定資料等…擷取字幕的困難點：字幕本身特值(ex.字形顏色)、背景影響、字幕所占的空間位置等…簡介四大步驟Textdetection–單純偵測是否含有字幕Localisation–定位字幕位置Tracking–追蹤字幕出現與消失的時間(影格)Segmentation–將字幕區隔並切段擷取字幕基本步驟單一影格(frame)分析Connectedcomponent-basedEdge-basedTexture-based多重影格分析(文章內並未在此多著墨)Multi-frameaveragingTime-basedminimumpixelsearch第一步第二步TextdelectionLocalisation原理：依據預期的文字特徵(如字形、顏色、大小等…)來做字幕的偵測與定位。容易出現的問題：在複雜的背景下，不易正確判斷。Connectedcomponent-based原理：　　以影像處理(色調、亮度落差等…)的方式區隔出字幕邊緣以分辨前景(字幕)、背景(影片)。容易出現的問題：當背景物體與字幕邊緣的顏色或亮度落差不大時，很容易判斷失誤。Edge-based原理：將影像透過各類型的訊號轉換(小波、傅立葉等…)後與內建的文字特徵做比對，藉此來精準抓取字幕。容易出現的問題：當背景結構與字幕類似時不易辨別，且需要較大的計算量。PS.此文章所講的技術即是用此方式。Texture-basedExample原理：利用多個連續影格中的影像均值來區別背景與字幕。容易遇到的問題：運算量十分龐大。Multi-frameaveraging大多透過兩影格間相對位置的顏色與亮度落差來判斷哪時字幕出現或消失。對於多重影格分析非常重要。第三步-Tracking將字幕從影片中截段分割出來，並可透過OCR(光學文字判斷)來轉成數位文字。第四步-Segmentation全名KeyTextPoints(KTPs)在第一二步中是屬於單一影格分析中的Texture-based，第三步(Tracking)是運用了多重影格分析的原理，第四步則是Edge-Based來做合併基本原理在於訊號轉換(小波轉換)後抓取文字特定的特徵點(關鍵點)，透過這些關鍵點來做追蹤與分段合併的動作。PS.由於小波轉換卡關的關係，並不是很確定是不是這樣。KTPs概念說明將原始離散訊號分離成多頻帶訊號，具有可逆性主要特色在於具有較好的壓縮性與降低雜訊干擾處理上比傅立葉轉換還有效率離散小波轉換離散小波轉換c(n)d(n)離散小波轉換d(n)離散小波轉換1988Daubechies離散小波轉換濾除雜訊離散小波轉換離散小波轉換即使知道基礎的小波轉換，但與文章上的小波轉換有明顯的不同，沒辦法理解文章上所提的式子，且對於數學式子的概念明顯薄弱。PS.MovingAverageSystem與離散小波轉換的關聯性?卡關點謝謝聆聽。離散小波轉換參考文章-WaveletTransforms|AQuickStudyToBeContinued?報告結束