InceptorHyperbase实例演示.docx

Inceptor Hyperbase实例演示本页提供了一个模拟某运营商的通话记录以及用户信息的实例场景，并基于此场景从离线分析和高并发实时查询两个角度来说明Inceptor和Hyperbase的基本操作方式，内容包含了Inceptor的数据导入、加载内存、关联、统计以及Hyperbase的数据导入、建立索引、精确查询、统计分析。实例场景本实例场景模拟了某运营商的通话记录表和用户信息表，以导入这两张表到Inceptor和Hyperbase中进行查询、关联和汇聚统计。通话记录表通话记录表结构列名数据类型含义MSISDNSTRING手机号码OTHER_PARTYSTRING对方号码START_DATESTRING通话开始日期START_TIMESTRING通话开始时间IMSISTRINGimsi号通话记录表数据：存放于本地目录gsm文件夹下的gsm_data文件中001|002182701|101001|003182702|101002|003182708|102003|001131709|103004|001131709|104用户信息表用户信息表结构列名数据类型含义MSISDNSTRING手机号码CERNOSTRING身份证号CITY_IDSTRING开通城市REG_DATESTRING开通日期用户信息表数据：存放于本地目录userinfo文件夹下的userinfo_data文件中001|1111111|SH|20130102002|2222222|SH|20130201003|3333333|NJ|20130612004|4444444|NT|20120612005|5555555|BJ线分析本小节叙述了如何利用Inceptor对上述二表做离线分析：包括将数据导入HDFS以及加载到Inceptor内存表做离线分析。上述SQL指令都是在Inceptor Shell下手工输入执行，用户同样可以通过JDBC连接到Inceptor Server以执行SQL语句。数据导入HDFS通话记录表数据存放于本地目录gsm文件夹下的gsm_data文件中，用户信息表数据存放于本地目录userinfo文件夹下的userinfo_data文件中：-- 在HDFS目录/user/root下创建test文件夹hadoop fs -mkdir /user/root/test-- 数据导入test文件夹hadoop fs -put gsm /user/root/testhadoop fs -put userinfo /user/root/test除了将本地文件put到HDFS中以导入数据，还可以通过Sqoop将关系型数据库中的数据导入到HDFS，具体导入方法请参见语法参考手册的Sqoop部分。加载到Inceptor内存表做离线分析进入Inceptor Shell(transwarp -t -h [Inceptor server])之后，使用SQL在Inceptor中建立外表gsm_ext和userinfo_ext：create external table gsm_ext(msisdn string,other_party string,start_date string,start_time string,imsi string) row format delimited fields terminated by | stored as textfile location hdfs://[HDFS NameNode IP or Name]:8020/user/root/test/gsm;create external table userinfo_ext(msisdn string,cerno string,city_id string,reg_date string) row format delimited fields terminated by | stored as textfile location hdfs://[HDFS NameNode IP or Name]:8020/user/root/test/userinfo;使用SQL将gsm_ext表和userinfo_ext表中的数据按照msisdn分桶并加载到内存，此处的set mapred.reduce.tasks的值需根据reduce阶段的数据量动态调整，每个reduce处理100MB左右的数据量为宜：set mapred.reduce.tasks=[桶数];create table gsm tblproperties(cache=ram,filters=hashb