随身蝴蝶图鉴查询 - 台北大学资工系.DOC

國立台北大學資訊工程學系專題報告 隨身蝴蝶圖鑑查詢 專題組員:邵詩珺、陳永豪、曾繼禾 指導老師:黃俊堯老師 專題編號: PRJ-NTPUCSIE-1002-006 執行期間:2012年02月 至2012年05月 摘要 此專題係利用智慧型手機的方便性來達成隨身生物圖鑑的目的，使用者只需經過幾個淺顯易懂的分類步驟，之後透過手機行動網路或WiFi上傳手機裡剛拍下的生物圖片，於伺服器端利用目前趨近成熟的圖形辨識演算法來完成比對的功能，便能得到生物的圖片和生態資訊。 關鍵詞:蝴蝶、圖鑑查詢、辨識比對、android、ButterflyHandbook 簡介 對一般人來說，當我們在戶外遇上不知名的生物，都會透過相機來記錄或只憑印象，直到手邊有生物圖鑑時才能辨認，這無非是違反我們對求知的慾望。更甚至在進行野外採集時，通常都得隨身帶上一本厚重的生物圖鑑，使用時也得一頁一頁的翻找、比對。這時如果能夠將整份生物圖鑑資料放進便於攜帶的手機或平板電腦並利用科學的分類方法及加入圖形辨識的功能，勢必會提高一般人對認識生物的慾望，也能增加野外採集的方便性。目前已有相關研究學者將生物圖鑑資料建置成網站供民眾免費 瀏覽，例如台灣大學資訊工程學系的向教授與台中自然科學博物館合作，建置了蝴蝶圖鑑的網站(.tw/ncnudlm/index.htm)，雖然一般使用者也可以透過手機或平板電腦以上網瀏覽方式來使用該網站資訊進行蝴蝶比對與辨識，但是此方式的缺點為： 因為操作介面係在智慧型手機和平板電腦，如何利用觸控的方式來增加方便性與互動是重點之一。 原本在網站上的分類方式因為是在電腦上瀏覽，應用上並不一定完全適合手機較小的螢幕。 使用者通常是站著或是行進間使用智慧型手機和平板電腦，原本網站設計不方便使用者於移動中進行圖鑑檢索的動作。 原本網站無影像辨識輔助功能，需要使用者自行點選特徵來取得蝴蝶資訊。 本專題的研究重點是要針對上述缺點，實作一套專為智慧型手機與平板電腦所設計的蝴蝶圖鑑APP，此APP是在取得台大項潔教授同意之下，採用其原本蝴蝶圖鑑分類方法，再加上影像辨識技術來輔助使用者進行蝴蝶圖鑑索引，以減輕使用者的索引負擔，同時提高圖鑑索引速度，項潔教授及其下團隊所創的分類方法，非常有系統及實用，讓蒐集者及使用者都能受此分類方法的利益，將大自然界中複雜的蝴蝶生物種類統整的非常完善，也很直觀，在這裡也特別感謝教授的幫助及授權。 然而，因為是透過伺服器進行辨識的功能，除了為了辨識技術耗時外，網路延遲也會造成整體系統的反應速度變慢，因此，為了效率需要在時間與成效間達成平衡，在影像辨識演算法上面必須做出取捨。在影像辨識此部分時我們遇到了幾個挑戰及問題。 使用者在戶外拍照蝴蝶時，其周圍難免有複雜的環境，例:許多碎石、樹葉、花等，這些場景都或多或少會影響影像辨識精準度，影響辨識已經不是去比對簡單的兩張相同圖片只是大小不同的這種簡單的應用了。 蝴蝶圖鑑中的展示，是全翅展開，蝴蝶停在戶外時，翅膀都會收縮起來，收縮大小程度不同對多到半翅，所以影像複雜度又更增加了。 影像辨識技術:以目前影像辨識方法來說，不是較精準但耗時，就是較省時但有失精準，因我們所遇到的照片更複雜及多元，而且又想造出方便的手機隨身生物圖鑑，所以時間及精準度的衡量，非常困難及重要。 而針對上述的問題與困難，我們做出以下方法來解決或降低他的問題性: 在手機端向使用者說明清楚，利用手機裡切割照片的功能，請使用者將照片切割至只有蝴蝶占滿整張照片，以降低不必要的雜訊、提高準確率。 我們去採用辨識技術裡面，可將半翅比對至全開蝴蝶的較精準的辨識技術，但缺點就是耗時較久。 採用了SIFT辨識技術後，為降低他的時間耗費，我們在辨識完後的比對其圖片的地方，使用了FLANN演算法，能將時間降低一定程度，讓此專題作品變成有一定準確率及方便性的實用軟體。 專題進行方式 影像辨識及比對圖片 ●OPENCV使用 上手OPENCV花了一定的時間，畢竟接下來都要在這平台上操作，從下載OPENCV、編程、到學習幾個重要的函式，這過程都是非常重要的。 在這期間: A.學會基本的讀取圖片檔、創新視窗將其顯示 B.放大放小圖片、將其轉為灰階、轉檔 C.學會cvline函式畫直線圖的功能(以後能用此功能來圖示兩圖片比對狀況) D.因為想要嘗試使用OPENCV中的描框函式，來使其自動描住圖片裡隻蝴蝶，所以實驗了許多函式，包括: A.adaptiveskindetector 偵測 B.edge邊緣/open cvcanny細線化 C.houghlines 找框框 邊緣偵測一種 D.squares 框框偵測 可設框框 不過最後因為蝴蝶花紋的複雜跟翅膀多變，又手機端那裏處理更快，所以這部分就交由手機那裏作照片切割的前置處理。 ●影像辨識 原理： A.SIFT Sift