第15讲大数据架构设计理论与实践知识点精讲二.pptx

第十九章大数据架构设计理论与实践知识点精讲（二）系统架构设计师第二版

综合知识精讲培训课讲师：邵宗其

考点分析本章主要学习大数据方向软件架构的发展和工作中的实践。根据考试大纲，本小时知识点会涉及案例分析题和论文题（各占25分）。本小时内容侧重于理解性记忆，按照以往的出题规律，部分基础知识点来源于教材，部分考查内容需要灵活运用相关知识点。知识架构如图所示。大数据架构设计理论与实践

【基础知识点】1．大规模视频网络某网采用以Lambda架构搭建的大数据平台处理里约奥运会大规模视频网络观看数据，具体平台架构设计如图22.6所示对于图22.6中的数据计算层可以分为离线计算、实时计算、合并计算3个部分。（1）离线计算部分：用于存储持续增长的批量离线数据，并且会周期性地使用Spark和Map/Reduce进行批处理，将批处理结果更新到批视图之后使用Impala或者Hive建立数据仓库，将结果写入HDFS中。（2）实时计算部分：采用SparkStreaming，只处理实时增量数据，将处理后的结果更新到实时视图。（3）合并计算部分：合并批视图和实时视图中的结果，生成最终数据集，将最终数据集写入HBase数据库中用于响应用户的查询请求。大数据架构设计理论与实践

【基础知识点】2．广告平台某网基于Lambda架构的广告平台，分为批处理层（BatchLayer）、加速层（SpeedLayer）、服务层（ServingLayer），如图22.7所示。（1）批处理层：每天凌晨将Kafka?中浏览、下单等消息同步到HDFS?中，将HDFS?中数据解?析为Hive?表，然后使用HQL?或Spark??SQL?计算分区统计结果Hive?表，将Hive?表转储到MySQL?中作为批视图。大数据架构设计理论与实践（2）加速层：?使用Spark?Streaming?实时监听Kafka?下单、付款等消息，?计算每个追踪链接维?度的实时数据，?将实时计算结果存储在Redis?中作为实时视图。（3）服务层：?采用Java?Web?服务，对外提供HTTP?接口，Java?Web?服务读取MySQL?批视图?表和Redis?实时视图表。

3．公司智能决策大数据系统某证券公司智能决策大数据系统是一个基于Kappa架构的实时日志分析平台，如图22.8所示。具体的实时处理过程如下：（1）日志采集：用统一的数据处理引擎Filebeat实时采集日志并推送给Kafka缓存。（2）日志清洗解析：?利用基于大数据计算集群的?Flink?计算框架实时读取?Kafka?消息并进行?清洗，解析日志文本转换成指标。大数据架构设计理论与实践（3）日志存储：日志转储到ElasticSearch?日志库，指标转储到OpenTSDB?指标库。?（4）日志监控：单独设置告警消息队列，?保持监控消息时序管理和实时推送。

4．电商智能决策大数据系统该智能决策大数据平台基于Kappa架构，使用统一的数据处理引擎Funk可实时处理流数据，并将其存储到数据仓库工具Hive与分布式缓存Tair中，以供后续决策服务的使用。如图22.9所示。送给?Kafka缓存。（2）数据清洗聚合：由?Flink?实时读取?Kafka?消息，?按需过滤参与业务需求的指标，将聚合?时间段的数据转换成指标。实时处理的过程如下：（1）?数据采集：?B?端实时采集用户点击、下单、广告曝光、出价等数据然后推大数据架构设计理论与实践（3）数据存储：?Flink?将计算结果转储至Hive??日志库，将模型需要的参数转储至实时计算数?据库Tair?缓存，然后后续决策服务从Tair?中获取数据进行模型训练。

谢谢欣赏THANKYOU