第3讲大数据架构设计理论与实践Lambda 架构.pptx

第十九章大数据架构设计理论与实践Lambda架构系统架构设计师第二版

综合知识精讲培训课讲师：邵宗其

考点分析本章主要学习大数据方向软件架构的发展和工作中的实践。根据考试大纲，本小时知识点会涉及案例分析题和论文题（各占25分）。本小时内容侧重于理解性记忆，按照以往的出题规律，部分基础知识点来源于教材，部分考查内容需要灵活运用相关知识点。知识架构如图所示。大数据架构设计理论与实践

Lambda架构对大数据处理系统的理解Lambda架构由Storm的作者NathanMarz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成Hadoop、Kafka、Spark、Storm等各类大数据组件。Lambda是用于同时处理离线和实时数据的，可容错的，可扩展的分布式系统。它具备强鲁棒性，提供低延迟和持续更新。Lambda架构

Lambda应用场景机器学习中Lambda架构物联网的Lambda架构流处理和Lambda架构

Lambda应用场景在机器学习领域，数据量无疑是多多益善的。但是，对于机器学习应用算法、检测模式而言，它们需要以一种有意义的方式去接收数据。因此，机器学习可以受益于由Lambda架构构建的数据系统、所处理的各类数据。据此，机器学习算法可以提出各种问题，并逐渐对输入到系统中的数据进行模式识别。机器学习中的Lambda架构

Lambda应用场景如果说机器学习利用的是Lambda架构的输出，那么物联网则更多地作为数据系统的输入。设想一下，一个拥有数百万辆汽车的城市，每辆汽车都装有传感器，并能够发送有关天气、空气质量、交通状况、位置信息以及司机驾驶习惯等数据。这些海量数据流，会被实时馈入Lambda体系架构的批处理层和速度层，进行后续处理。可以说，物联网设备是适合作为大数据源的绝佳示例。物联网的Lambda架构

Lambda应用场景速度层也被称为“流处理层”。其目的是提供必威体育精装版数据的低延迟实时视图。虽说，速度层仅关心自完成最后一组批处理视图以来导入的数据，但事实上它不会存储这些小部分的数据。这些数据在流入时就会被立即处理，且在完成后被立即丢弃。因此，我们可以认为这些数据是尚未被批处理视图所计入的数据。Lambda体系架构在其原始理论中，提到了最终精度(eventualaccuracy)的概念。它是指：批处理层更关注精确计算，而速度层则关注近似计算。此类近似计算最终将由下一组视图所取代，以便系统向“最终精度”迈进。在实际应用中，由于实时处理流以毫秒为单位，持续产生用于更新视图的数据流，是一个非常复杂的过程。因此，将基于文档的数据库、索引以及查询系统配合在一起使用，是一种比较好的选择。流处理和Lambda架构挑战

Lambda架构介绍(1)批处理层(BatchLayer):(2)加速层(SpeedLayer):(3)服务层(ServingLayer):Lambda架构数据源批处理层加速层服务层查询视图

Lambda架构介绍(1)批处理层(BatchLayer):存储数据集，BatchLayer在数据集上预先计算查询函数，并构建查询所对应的View。BatchLayer可以很好地处理离线数据，但有很多场景数据是不断实时生成且需要实时查询处理，对于这种情况，SpeedLayer更为适合。(2)加速层(SpeedLayer):BatchLayer处理的是全体数据集，而SpeedLayer处理的是最近的增量数据流。SpeedLayer为了效率，在接收到新的数据后会不断更新Real-timeView,而BatchLayer是根据全体离线数据集直接得到BatchView。(3)服务层(ServingLayer):ServingLayer用于合并BatchView和Real-timeView中的结果数据集到最终数据集。Lambda架构数据源批处理层加速层服务层查询视图

Lambda架构介绍BatchLayer有两个核心功能：存储数据集和生成BatchView。该层负责管理主数据集。主数据集中的数据必须具有以下三个属性：(1)数据是原始的。(2)数据是不可变的。(3)数据永远是真实的。有一类称为Monoid特性的函数应用非常广泛。Monoid的概念来源于范畴学(CategoryTheory),其一个重要特性是满足结合律。如整数的加法就满足Monoid特性：不满足Monoid特性的函数很多时候可以转化成多个满足Monoid特性的函数的运算。如多个数的平均值Avg函数，多个平均值没法直接通过结合来得到最