第14讲大数据架构设计理论与实践知识点精讲一.pptx

第十九章大数据架构设计理论与实践知识点精讲（一）系统架构设计师第二版

综合知识精讲培训课讲师：邵宗其

考点分析本章主要学习大数据方向软件架构的发展和工作中的实践。根据考试大纲，本小时知识点会涉及案例分析题和论文题（各占25分）。本小时内容侧重于理解性记忆，按照以往的出题规律，部分基础知识点来源于教材，部分考查内容需要灵活运用相关知识点。知识架构如图所示。大数据架构设计理论与实践

【基础知识点】1．传统数据库的数据过载问题传统应用的数据系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库无法支撑日益增长的用户请求的负载，从而导致数据库服务器无法及时响应用户请求，出现超时的错误。关于这个问题的常用解决方法如下：（1）增加异步处理队列，通过工作处理层批量处理异步处理队列中的数据修改请求。（2）建立数据库水平分区，通常建立Key分区，以主键/唯一键Hash值作为Key。（3）建立数据库分片或重新分片，通常专门编写脚本来自动完成，且要进行充分测试。（4）引入读写分离技术，主数据库处理写请求，通过复制机制分发至从数据库。（5）引入分库分表技术，按照业务上下文边界拆分数据组织结构，拆分单数据库压力。大数据架构设计理论与实践

【基础知识点】2．大数据的特点大数据具有体量大、时效性强的特点，并非构造单调，而是类型多样；处理大数据时，传统数据处理系统因数据过载，来源复杂，类型多样等诸多原因性能低下，需要采用以新式计算架构和智能算法为代表的新技术；大数据的应用重在发掘数据间的相关性，而非传统逻辑上的因果关系；因此，大数据的目的和价值就在于发现新的知识，洞悉并进行科学决策。现代大数据处理技术，主要分为以下几种：（1）基于分布式文件系统Hadoop。（2）使用Map/Reduce或Spark数据处理技术。（3）使用Kafka数据传输消息队列及Avro二进制格式。大数据架构设计理论与实践

【基础知识点】3．大数据利用过程大数据的利用过程分为：采集、清洗、统计和挖掘4个过程。（1）大数据处理系统面临的挑战主要有：1）如何利用信息技术等手段处理非结构化和半结构化数据。2）如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模。3）数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响。（2）大数据处理系统应具有的属性和特征包括：鲁棒性和容错性、低延迟、横向扩展（通过增强机器性能扩展）、通用、可扩展、即席查询（用户按照自己的要求进行查询）、最少维护和可调试。大数据架构设计理论与实践

1．Lambda架构Lambda架构是一种用于同时处理离线和实时数据的、可容错的、可扩展的分布式系统，如图22.2所示。大数据架构设计理论与实践

Lambda架构分为以下3层：（1）批处理层。该层核心功能是存储主数据集，主数据集数据具有原始、不可变、真实的特征。批处理层周期性地将增量数据转储至主数据集，并在主数据集上执行批处理，生成批视图。架构实现方面可以使用HadoopHDFS或HBase存储主数据集，再利用Spark或MapReduce执行周期批处理，之后使用MapReduce创建批视图。2）加速层。该层的核心功能是处理增量实时数据，生成实时视图，快速执行即席查询。架构实现方面可以使用HadoopHDFS或HBase存储实时数据，利用Spark或Storm实现实时数据处理和实时视图。（3）服务层。该层的核心功能是响应用户请求，合并批视图和实时视图中的结果数据集得到最终数据集。具体来说就是接收用户请求，通过索引加速访问批视图，直接访问实时视图，然后合并两个视图的结果数据集生成最终数据集，响应用户请求。架构实现方面可以使用HBase或Cassandra作为服务层，通过Hive创建可查询的视图。Lambda架构优缺点：Lambda架构的优点：容错性好，查询灵活度高，弹性伸缩，易于扩展。Lambda架构的缺点：编码量大，持续处理成本高，重新部署和迁移成本高。与Lambda架构相似的模式有事件溯源模式、命令查询职责分离模式。大数据架构设计理论与实践

【基础知识点】2．Kappa架构Kappa架构是在Lambda架构的基础上进行了优化，删除了BatchLayer的架构，将数据通道以消息队列进行替代，如图22.3所示。Kappa?架构分为如下2层：（1）实时层。该层核心功能是处理输入数据，?生成实时视图。具体来说是采用流式处理引擎?逐条处理输入数据，?生成实时视图。架构实现方式是采用Apache?Kafka?回访数据，?然