时空资料资料品质检核与整合逻辑模式.ppt

第七講時空資料資料品質檢核與整合邏輯模式 空間資訊研究中心主任 朱子豪教授 大綱 品質檢核為品質提昇的第一步 誤差辨認為智慧性的偵錯 歸因為更根本的品質提昇管理 錯誤更正與糾舉造假 品質保證策略與程序 資料整合的錯誤尋找 資料整合的錯誤去除 資料品管兩層次（QA / QC) 資料品質檢核與管理（QA / QC)有消極與積極兩層次 資料品質分析（QA） 資料品質分析是在資料生產結束後，進行的品質檢核，由正確性指標、或是錯誤比例、或誤差統計（或不良率）來表達資料的品質，決定是否可以驗收資料 資料管理（QC） 資料管理（QC） 資料管理是重在資料生產的過程中，能透過規範的訂定、動態的檢核來找出錯誤（不良品），已提升資料品質 資料品管的執行單位 內部品管：資料品管可以是生產者自行執行 外部品管：資料品管是由委託單位或監審單位執行 資料品質分析的方法 主要的手段是抽驗，有分為全面隨機抽樣、分層抽樣 將誤差可能性高的與低的，進行分組抽樣，或是將可經全面性邏輯檢核者，與無法邏輯檢核者分群抽樣，或是將不同的生產者的資料分離抽樣，或是將不同方法生產的資料分離抽樣、或是將不同類別的資料分離抽樣，以取得更細的分析 資料品質分析的抽樣比例 一般多以抽樣5%為原則，當然會以監審預算與品質分析確定性（代表母體的程度）而予以調整。 資料品質要求 可分為資料數量的要求、資料屬性的正確性、空間資料的誤差、空間關係的正確性、格式的正確性等。 數量的要求 資料單元的數量要正確，不可以遺漏，或是可以容忍與已知答案之間有一定比例的落差（如1%) 。但資料多出與遺漏不一定是錯誤，可能是原參考答案不標準（正確）。 資料屬性的正確性 資料的屬性的正確性，可以由抽樣、或兩種資料的比對來檢核（尤其是標準答案的比對，但其中亦可能有錯） 空間資料的位置誤差 以單元抽樣、或代表性點抽樣，來度量其檢核與元測量間的落差（或原測量與另一以存在資料間的落差），抽樣中的一定比例（如80%，95%）要在一定的誤差（如1M，或40CM)內。 空間關係的正確性 對於關注的空間關係，如相鄰性、相連性、順序性、特定地物的關係（左右、上下側、上下游、相交性、包含性、對應地物的屬性關係、或距離與角度等） 格式的正確性 與規定的標準格式的一致性，不一致則是為錯誤。亦可以要求其格式錯誤的比例，或是不准有錯誤，否則是為錯誤資料。 大綱 品質檢核為品質提昇的第一步 誤差辨認為智慧性的偵錯 歸因為更根本的品質提昇管理 錯誤更正與糾舉造假 品質保證策略與程序 資料整合的錯誤尋找 資料整合的錯誤去除 除抽樣外，全面性邏輯檢核是品質管理、與分抽抽樣的關鍵 邏輯檢核是以推理的方式檢核判釋可能有錯誤的資料 推理誤差（錯誤）的方式 容易犯錯的地區的判釋（錯誤空間，如影像的MIXEL、邊界劃設） 容易犯錯的對象（如較複雜的地物測量、較偏遠的調查對象） 透過錯誤的歸因進行分析（如影像判釋的訓練樣區抽樣錯誤、類別統計與假設有落差、地物過度相似、或是訓練樣區有遺漏地物判釋機率過低等） 大綱 品質檢核為品質提昇的第一步 誤差辨認為智慧性的偵錯 歸因為更根本的品質提昇管理 錯誤更正與糾舉造假 品質保證策略與程序 資料整合的錯誤尋找 資料整合的錯誤去除 錯誤歸因的方法 由理論推導 理論上錯誤自然發生率高的狀況的分析，如影像的MIXEL地區、分類特徵分佈與工具的假設不符、特徵相近容易誤判、特徵奇特四不像等，或是演算法會誤判對象，如DTM判釋地形鞍部地區等。 資料生產經驗推導 較易發生錯誤的地區、或對象的歸納，如： 特定地區與特定生產方法、生產者的差異判斷 由案例歸納 由深入觀察作業歸納 歸因後的更正 對於判斷有錯誤的地區或對象進行補強、或重新測調 歸因更正納入資料生產程序 對於易犯錯誤的作業程序進行改正，測試，對於易發生錯誤地區與對象，要在標準流程中，進行更嚴格規範，與加強查核品質工作（立即的檢核，可設計檢核表來執行）。 大綱 品質檢核為品質提昇的第一步 誤差辨認為智慧性的偵錯 歸因為更根本的品質提昇管理 錯誤更正與糾舉造假 品質保證策略與程序 資料整合的錯誤尋找 資料整合的錯誤去除 錯誤改正 全面邏輯檢核偵錯 若是全面邏輯檢核則可以對所有的可疑錯誤進行補強改正，可以重作、調整便可完成。若知道原因則較為容易執行、若不知原因則還是可以全面補強。 抽樣偵錯 抽樣出的錯誤，若不知其原因，則無法全面性補強，只能改善已知的錯誤。或是歸納其錯誤特徵，進行全面性檢核。 當然最好是能由錯誤的案例中歸納其特徵與原因。 資料造假糾舉 資料的錯誤是作業疏失所造成的、亦是故意造假所造成的，有時難以分辨，若是錯誤量不大、且是隨機分散、或是有理由的集中，則可視為非故意性錯誤。 造假資料的手法 造假資料可能有幾種的手法：