实现云端运算HadoopHDFS磁碟及记忆体之-OSSLabCSIE,FJU.ppt

* * * * * * * * * * * * * * * Experiment (18) 設定READ10G_1為I/O優先權程式(加入MapReduce工作一起執行) * Experiment (19) 設定WRITE10G_1為I/O優先權程式(加入MapReduce工作一起執行) * Future Work Hadoop部分: - 結合JobTracker的工作排班機制 作業系統部分: - 結合CPU優先權機制 - 結合磁碟NCQ指令加入優先權的概念 * Conclusion Hadoop HDFS中加入I/O優先權機制，能有效提升具有I/O優先權程式的執行效能。 在有I/O優先權程式執行下，對其它非I/O優先權程式的執行效率影響不大。 Hadoop中新增處理I/O優先權的機制後，在只執行一般程式下，幾乎不會影響執行效率。 * * Thank you 補充資料 (1) HDFS讀取檔案流程: * 補充資料 (2) HDFS寫入檔案流程: * 補充資料 (3) Linux kernel 原始記憶體置換機制: * 補充資料 (4) Linux kernel 優先權頁面記憶體置換機制: * 補充資料 (5) I/O優先權傳遞流程: * * * * * * * * * * * * * * * * * * * * * * * 實現雲端運算 Hadoop HDFS 磁碟及記憶體之即時分級服務 輔仁大學 資訊工程研究所 指導老師：葉佐任 博士 研究生：孫逸峰 Outline Introduction Background Design and Implementation Experiment Future Work Conclusion * Introduction (1) CPU與硬碟效能上的差距。 雲端系統中執行程式的效能瓶頸。 提升雲端系統中程式的執行I/O優先權，縮短I/O優先權程式執行時間。 結合作業系統核心(kernel)與Hadoop，發展具有I/O優先權機制的雲端環境。 * Introduction (2) * Hadoop Linux Operating System Hardware User Interface MapReduce ?Hadoop Distributed File System (HDFS) Background (1) * Namenode Hadoop客戶端 Datanode1 Datanode2 Datanode3 Hadoop Namenode,我要讀取123.txt 請至Datanode2中第5~10的區塊讀取 Datanode2,我要讀取第5~10的區塊 5 6 7 9 8 10 讀取HDFS檔案流程 Background (2) * Namenode Hadoop客戶端 Datanode1 Datanode2 Datanode3 Hadoop Namenode,我要寫入456.txt 請寫入至Datanode1中 Datanode1,我要寫入456.txt 寫入檔案至HDFS流程 456.txt 1 2 3 4 1 2 3 4 1 2 3 4 Background (3) * JobTracker分配MapReduce工作流程 * Namenode (JobTracker) Datanode1 (Tasktracker1) Datanode2 (TaskTracker2) Datanode3 (TaskTracker3) 1 2 6 3 4 7 8 10 9 5 12 11 job1 job2 Background (4) Completely Fair Queuing (CFQ)為Linux預設使用的磁碟排程器。 PCFQ為在CFQ磁碟排程器中加入優先權的研究。 * Design and Implementation (1) 研究設計重點部分: - 修改Hadoop中HDFS運作機制。 - 於kernel中使用PCFQ磁碟排程器，並將 記憶體置換機制加入優先權概念。 - 提供使用者執行I/O優先權的介面。 * Design and Implementation (2) Namenode建立優先權名單，並管控使用者能否執行I/O優先權指令的權力。 * Design and Implementation (3) 客戶端成功申請I/O優先權後，可使用sethigh指令提升程式的I/O優先權。 sethigh指令提高程式I/O優先權範例: 客戶端修改socket封包內容並送往給Datanode * hadoop fs –get source-file