流式计算框架分享解读.pptx

流式计算框架分享 内容 简介 1 PART ONE 流式计算定义和特点 流式计算是针对连续不断，且无法控制数据流速的计算场景设计出的计算模型，常见的场景有有哪些信誉好的足球投注网站引擎、在线广告等 数据不止，计算不停 无稳态数据，计算随数据变化 不可控，计算速度随数据速度变化 定义 特点 2 PART ONE 主流流式计算框架 数据传输层 Flume：Cloudera开源项目 数据计算层 Spark Streaming：Apache Spark子项目 Storm：Apache顶级项目 S4：Yahoo原型产品，未发布 Elastic Search：Apche顶级项目，最流行的有哪些信誉好的足球投注网站引擎 数据应用层 Splunk：商业软件，机器日志分析引擎 Druid：大数据实时查询和分析的高容错、高性能开源分布式系统 主流流式计算框架 3 PART ONE 流式计算模型技术路线 技术路线 通用性 适用一切场景 通用 OLAP,ETL,服务等 Actors模型 Storm D-Stream模型 Spark Streaming 特化系统 专注于OLAP 有哪些信誉好的足球投注网站引擎 Elastic Search 4 PART ONE Spark Streaming和Storm 计算模型：D-Stream模型 优势： 编程原语丰富，编程简单 框架封装层级较高，封装性好 可以共用批处理处理逻辑，兼容性好 基于Spark，可以无缝内嵌Spark其他子项目，如Spark Sql，Mlib等 劣势： 调度耗时较大，不适合做实时性要求很高的需求 稳定性相对较差 机器性能消耗较大 计算模型：Actors模型 优势： 框架简单，学习成本低 实时性很好，可以提供毫秒级延迟 稳定性很好，框架比较成熟 劣势： 编程成本较高 框架处理逻辑和批处理完全不一样，无法公用代码 框架Debug较为复杂 应用场景： 日志处理 社交网站消息更新 推荐系统 运维报警 配套框架： HBase HDFS Redis 关系型数据库 Kafka 应用场景： 金融反欺诈，反洗钱 在线广告投放 配套框架： HBase Redis 关系型数据库 Kafka PPT模板：/moban/ PPT素材：/sucai/ PPT背景：/beijing/ PPT图表：/tubiao/ PPT下载：/xiazai/ PPT教程： /powerpoint/ 资料下载：/ziliao/ 范文下载：/fanwen/ 试卷下载：/shiti/ 教案下载：/jiaoan/ PPT论坛： PPT课件：/kejian/ 语文课件：/kejian/yuwen/ 数学课件：/kejian/shuxue/ 英语课件：/kejian/yingyu/ 美术课件：/kejian/meishu/ 科学课件：/kejian/kexue/ 物理课件：/kejian/wuli/ 化学课件：/kejian/huaxue/ 生物课件：/kejian/shengwu/ 地理课件：/kejian/dili/ 历史课件：/kejian/lishi/ 谢谢！