二零二三年 优质公开课Storm的基本概念.pptx

Storm的基本概念 1.掌握什么是Storm 2.掌握Storm的特性3.掌握Storm vs Hadoop 1. 什么是Storm 2. Storm的特性3. Storm vs Hadoop 什么是StormStorm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据Storm比较轻量级，使用简单，可以使用任何编程语言 什么是Storm Storm的特性编程简单：Storm显著的降低了编码复杂度。支持多种编程语言：用基于Java的语言会比较简单，但是Storm也支持任意其他语言容错性：Storm可以处理工作节点的宕机，在适当的时候重新安排任务可扩展性：Storm会往加入的可用的新机器上分配任务可靠性：所有的消息保证至少都能处理一次。如果发生错误，这些消息会被处理多次，但从不会丢失数据。高效性：速度是驱动Storm设计的一个重要指标。事务性：对于绝大部分运算来说，你可以得到消息一次消费的语义 Storm vs HadoopStorm和hadoop的区别数据来源：HADOOP是HDFS上某个文件夹下的可能是成TB的数据，Storm是实时新增的某一笔数据处理过程：HADOOP是分MAP阶段到REDUCE阶段，Storm是由用户定义处理流程，流程中可以包含多个步骤， 每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)是否结束：HADOOP最后是要结束的，Storm是没有结束状态，到最后一步时，就停在那，直到有新数据进入时再从头开始 Storm vs Hadoop处理速度：HADOOP是以处理HDFS上大量数据为目的，速度慢，Storm是只要处理实时的新增的某一笔内存 中的数据即可，可以做到很快。适用场景：HADOOP是在要处理一批数据时用的，不讲究时效性，要处理就提交一个JOB，Storm是要处理某 一新增数据时用的，要讲时效性与MQ对比：HADOOP没有可比性，Storm可以看作是有N个步骤，每个步骤处理完就向下一个MQ发送消息，监听这个MQ的消费者继续处理 1. 什么是Storm2. Storm的特性： 编程简单、支持多种编程语言、容错性、可扩展性、可靠性、高效性、事务性3. Storm与Hadoop的区别