第21讲_实时流处理引擎Slipstream_v2.0.pptxVIP

实时流处理引擎Slipstream讲 师 | 星 环 科 技1423Slipstream基础StreamSQL DDL目 录StreamSQL DMLCONTENTS星 环 科 技实战案例1chapter Slipstream基础Slipstream简介运行模式切换Stream SQLSlipstream基础1.1 Slipstream简介定位融合事件驱动与微批处理的实时流计算引擎分布式流式SQL引擎特点微批模式和事件驱动模式的一体化两种流处理模式可从容应对不同延时级别的业务场景，微批?秒级，事件驱动?毫秒级在同一套系统里，可以根据业务需求，通过参数配置和SQL改写，灵活切换两种流处理模式支持分布式流式SQL（StreamSQL）支持99%的ANSI SQL 2003，95%的PL/SQL Oracle与PL/SQL DB2支持通过SQL创建并操作流，并支持在流上做存储过程等复杂逻辑处理降低流应用开发门槛，提高流应用开发效率帮助用户低成本将传统业务逻辑变成流应用Slipstream基础1.1 Slipstream简介特点强大的优化器提升性能包含3级优化器：基于规则的优化器、基于代价的优化器、代码生成器在一些条件下，采用StreamSQL可以获得比编程方式更高的性能，因为Slipstream做了特殊优化，编程无法轻易实现，例如：增加迭代框架极高的易用性只要有编写普通SQL的经验，就可以写出高效、稳定、安全的流处理应用产品化程度高StreamSQL作为一个通用的接口显著提升了产品化程度迁移成本低用户原有的业务逻辑很多是通过SQL实现的，系统迁移时只需修改SQL，迁移成本大大降低Slipstream基础1.2 模式切换运行模式选择事件驱动模式的延迟更低，在延迟敏感的场景中表现更佳微批模式处理的数据量更多，可以适应数据的高吞吐场景TDH 5.1之后默认基于事件驱动模式（morphling），之前为微批模式（mapred）事件驱动模式配置Slipstream系统参数：NGMR_ENGINE_MODE = morphlingTDH 5.1之前，在启动StreamJob之前，配置Job参数：streamsql.use.eventmode = true，后续版本此参数在morphling模式下默认开启微批处理模式配置Slipstream系统参数：NGMR_ENGINE_MODE = mapredSlipstream基础1.3 Stream SQL：核心概念Slipstream的三个核心概念Stream（数据流）StreamJob（流任务）对一个或多个Stream进行计算，并将结果写入一张表的任务Application（流应用）一组业务逻辑相关的StreamJob的集合window w1(30s, 1s)stream s1stream s1Event pipelinesresultkafkastream s2kafkawindow w2(10s, 1s)Slipstream基础1.3 Stream SQL：核心概念Stream（数据流）Input Stream（输入流）定义：直接接收数据源传来的数据而形成的Stream功能：定义了如何从数据源读取数据，如：Kafka、Socket微批（Micro-batch）模式：将Input Stream按时间划分成若干小数据块（Batch）来处理，即在由若干单位时间组成的时间间隔内，将接收的数据放到一个Batch中（Batch的时间长度称为Batch Duration）事件驱动（Event-driven）模式：以单条数据被Input Stream接收为事件，逐条读取并处理Slipstream基础1.3 Stream SQL：核心概念Stream（数据流）Derived Stream（衍生流）Derived Stream由StreamSQL语句对已有的Stream变形（Transform）得来Stream变形通常由CSAS（Create Stream As Select）语句完成微批模式①含义：Stream变形是从已有Batch计算得到新Batch的过程②单Batch变形：对Stream中单个Batch进行计算得到新Batch的过程Slipstream基础1.3 Stream SQL：核心概念Stream（数据流）Derived Stream（衍生流）微批模式③窗口变形（多Batch变形）＊对一个时间窗口（Window）内的多个Batch进行计算得到新Batch的过程＊Window Stream：通过窗口变形得到的Derived Stream＊两个重要参数：Length和Slide，Length是窗口持续时间，Slide是两个相邻窗口之间的间隔时间，Length和Slide必须是B