大数据技术原理与操作应用全书课件完整版ppt全套教学教程最全电子教案电子讲义（必威体育精装版）.ppt

案例设计思路流程 ①将电商用户的网站日志数据采集到 HDFS 上存储。 ②在电商业务里数据加载到订单表和支付流水表。 ③将电商网站日志加载到 Hive。 ④将②中的业务数据通过 Sqoop 加载进 Hive。 ⑤结合业务数据④和日志数据③分析得到结果存到数据报表,并进一步分析得到活跃、转化率、GVM 指标。 ⑥通过 Sqoop 将结果数据⑤导出到 MySQL。 ⑦将⑥中的数据进行可视化展示。 案例设计思路流程图 为了便于将数据提取后进行统计，要把Hive中的数据分层次，按层次划分归类后的数据再进行导出和可视化处理。数据分层次的情况如图： 10.2 模块开发-数据采集 使用Flume搭建日志采集系统 将电商用户的网站日志数据采集到HDFS上存储，需要用Flume采集系统需要在服务器上部署Agent节点，从而对电商用户行为日志数据进行采集，并将日志文件汇集到HDFS中，搭建Flume的核心代码如下： a1.sources =r1 a1.sources.r1.type=taildir a1.sources.r1.channels=c1 a1.sources.r1.positionfile= /var/log/flume/taildir_position.json a1.sources.r1.filegroups= f1 f2 a1.sources.r1.filegroups.f1= /logs/topic_event/.*log.* a1.sources.r1.filegroups.f2= /logs/topic_start/.*log.* 10.2 模块开发-数据采集 日志信息说明 通过Flume采集系统采集后的电商用户行为日志数据将会汇总到HDFS上进行保存，由于采集的日志数据内容较多，并且样式基本类似，这里选取两条条进行展示，样例如下： 启动日志 {action:1,ba:Huawei,detail:,eamil:8G1ZH4XL@199.com,en:start,entry:3,extend1:,hw:640*960,l:pt,loading_time:13,md:Huawei-0,mid:0,nw:WIFI,open_ad_type:1,t:1559920269658,uid:0} 10.2 模块开发-数据采集 日志信息说明 action:1 状态（成功或者失败） ba:Huawei 手机品牌 detail: 失败信息 eamil:8G1ZH4XL@199.com 邮箱 en:start 日志类型 entry:3 入口 extend1: 扩展字段 hw:640*960 屏幕宽高 l:pt 系统语言 loading_time:13 加载时间 md:Huawei-0 手机型号 mid:0 设备唯一标识 nw:WIFI 网络模式 open_ad_type:1 广告类型 t:1559920269658 事件 uid:0} 用户标识 10.2 模块开发-数据采集 日志信息说明 1560009799473|{cm:{uid:4,t:1559973929283,md:Vivo-14,eamil:QG5P5SUU@199.com,mid:4,nw:4G,l:en,ba:Vivo,hw:640*1136},ap:app,et:[{ett:1559985948932,en:newsdetail,kv:{entry:2,goodsid:0,news_staytime:0,loading_time:3,action:3,showtype:2}} 1560009799473| 处理时间 {cm: 公共字段 {uid:4, 用户标识 t:1559973929283 客户端日志产生的时间 md:Vivo-14 手机型号 eamil:QG5P5SUU@199.com 邮箱 mid:4 设备唯一标识 nw:4G 手机网络 l:en 系统语言 ba:Vivo 手机品牌 hw:640*1136} 屏幕分辨率 ap:app 数据来源 et:[{ett:1559985948932 事件产生时间 en:newsdetail 事件名称 kv:{entry:2…. 事件详细内容 事件日志 对应信息 10.2模块开发-数据仓库开发 对应流程中的第二项，在电商业务里数据加载到订单表和支付流水表；第三项，把电商网站日志加载到Hive；将数据采集后，需要进一步建立相应的表格，把数据添加进去，做更深层次的数据处理。日志分为两部分，一个是启动日志，一个是事件日志。现在将启动日志加载到启动表中，用于生成用户活跃度表。将事件日志