分散式档案系统Hadoop与Ceph效能比较.PDF

TANET2013臺灣網際網路研討會- 【論文集】 分散式檔案系統Hadoop 與Ceph 效能比較 * 卓志遠 楊朝棟 張廣欽 李偉業 東海大學 資訊工程學系 cyucho@, { ctyang, erick , }@.tw * 通訊作者 摘要 of open source, compare the current better known Hadoop Distributed File System and Ceph, for these two systems file upload and download capabilities, the 雲端運算[1]是近年來很熱門的領域，借由硬體 size of the file transfer capability and a comparative 效能的提升與軟體應用的密切結合，在產官學各界 analysis of fault tolerance, and propose individual 的帶動下，使得雲端服務越完整也越多元，已經到 system characteristics, advantages and disadvantages, 無所不在的境界了。電腦系統的運作主要為程式邏 so need to build a distributed file system, or are 輯與資料儲存，雲端運算的架構改變了程式設計與 interested in working with distributed file 執行的模式，也改變了資料存取的檔案系統架構， system-related researchers a reference. Google能夠在不到 1秒的時間內搜尋非常大量的資 料[2] 、Gmail能夠對世界 4.25億用戶 [3] ，每個用戶 Keywords: Cloud Computing, Distributed File 提供 15GB的大量郵件儲存空間， Facebook 有 10 System, Hadoop, Ceph, cloud storage. 億個註冊用戶 [4] ，每天產生300TB 以上的資料量 [5] ，Dropbox提供每個使用者最少 2GB的雲端儲存 1.前言 空間，以上這些雲端服務的例子，沒有使用分散式 運算與分散式儲存系統，無法滿足使用者的需求。 網路的出現促使分散式運算的迅速發展，從 本論文使用開放原始碼，比較當前較著名的分散式 1990 年代為了解決大量計算問題而採用的網格計 檔案系統 Hadoop 與Ceph ，針對這兩個系統的檔案 算開始，到現今的雲端運算，而海量資料需要的大 上傳與下載能力，大小檔案的傳輸能力與容錯能力 量儲存空間是雲端運算平台中的一個重要議題，分 做比較分析，並提出個別系統的特性及優缺點，讓 散式檔案系統 [6,7]是儲存與分析海量資料的當然選 需要建置分散式檔案系統或有興趣從事與分散式 擇，根據 IDC(International Data Corporation)的研究