HBase Programming HBase编程-TSMC教育訓練課程.ppt

* 3. 使用Hadoop視野，主畫面將出現三個功能 * 4.建立一個Hadoop專案 開出新專案 選擇Map/Reduce 專案 * 4-1. 輸入專案名稱並點選設定Hadoop安裝路徑 由此設定Hadoop的安裝路徑 由此設定專案名稱 * 4-1-1. 填入Hadoop安裝路徑 於此輸入您Hadoop的安裝路徑，之後選擇 ok * 5. 設定Hadoop專案細節 1. 右鍵點選 2. 選擇Properties * 5-1. 設定原始碼與文件路徑 以下請輸入正確的Hadoop原始碼與API文件檔路徑，如 source ：/opt/hadoop/src/core/ javadoc：file:/opt/hadoop/docs/api/ 選擇 Java Build Path * 5-1-1. 完成圖 * 5-2. 設定java doc的完整路徑 輸入java 6 的API正確路徑，輸入完後可選擇validate以驗證是否正確 選擇 Javadoc Location * 6. 連結Hadoop Server與Eclipse 點選此圖示 * 6-1 . 設定你要連接的Hadoop主機 輸入主機位址或domain name MapReduce 監聽的Port (設定於mapred-site.xml) HDFS監聽的Port (設定於core-site.xml) 你在此Hadoop Server上的Username 任意填一個名稱 * 6-2 若正確設定則可得到以下畫面 HDFS的資訊，可直接於此操作檢視、新增、上傳、刪除等命令 若有Job運作，可於此視窗檢視 * 7. 新增一個Hadoop程式 首先先建立一個WordCount 程式，其他欄位任意 * 7.1 於程式窗格內輸入程式碼 此區為程式窗格 * 7.2 補充：若之前doc部份設定正確，則滑鼠移至程式碼可取得API完整說明 * 8. 運作 於欲運算的程式碼處點選右鍵 ? Run As ? Run on Hadoop * 8-1 選擇之前設定好所要運算的主機 * 8.2 運算資訊出現於Eclipse 右下方的Console 視窗 放大 * 8.3 剛剛運算的結果出現如下圖 放大 * * 3. 計算當天營業額 計算每間商店的營業額 Σ（該項商品單價 X 被購買的次數） 透過 Hadoop 的Map () 從HBase內的 Products:{P1,P2,P3,P4} 與 Turnover:{P1,P2,P3,P4} 調出來 經過計算後由Hadoop 的Reduce () 寫回HBase 內 Turnover:Sum 的Column內 需考慮到表格內每家的商品數量皆不同、有的品項沒有被購買 * 3. Hadoop 來源與輸出皆為 HBase public class TSMC3CalculateMR { public static class HtMap extends TableMapperText, Text { public void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException { String row = Bytes.toString(value.getValue(Bytes.toBytes(Detail), Bytes.toBytes(Locate))); int sum = 0; for (int i = 0; i 4; i++) { String v = Bytes.toString(value.getValue(Bytes .toBytes(Products), Bytes.toBytes(P + (i + 1)))); String c = Bytes.toString(value.getValue(Bytes .toBytes(Turnover), Bytes.toBytes(P + (i + 1)))); if (v != null ) { if(c == null) c=0; System.err.println(p= + v); System.err.println(c= + c); sum += Integer.parseInt(v) * Integer.parseInt(c); System.err.println(T + row + : + p[ + i + ]* + c[ + i + ] = + v + * + c + += + (sum)); }} context.write(new Text(T + row), new Tex