Spark技术研究与实践分享.docxVIP

BDTC

2014中国大数据技术大会

BIGDATATECHNOLOGYCONFERENGE

暨第二届CCF大数据学术会议

Spark技术研究与实践分享

BDTC

2014中国大数据技术大会暨第二届CCF大数据学术会议

提纲

●为什么选择Spark

●Spark实践分享

●使用Spark的建议

BDTC

2014中国大数据技术大会暨第二届CCF大数据学术会议

为什么选择Spark

●多种计算场景的结合

●多数据源的计算中心

●活跃的社区支持

2014中国大数据技术大会BDTC暨第二届CCF大数据学术会议

2014中国大数据技术大会

多种计算场景的结合

User

UserApplication用户应用

SQL批处理GraphX

SQL批处理

GraphX

图计算

MLlib

机器学习

Streaming流处理

Spark

SparkCore

(SparkContext+RDD+DAG)

随着信息技术的发展，越来越多的企业面临着复杂计算场景的考验

1机器学习的不断发展和应用

2信息时效性决定了流处理技术的重要性3传统业务人员操作熟练的SQL编写能力

2014中国大数据技术大会BDTC暨第二届CCF大数据学术会议

2014中国大数据技术大会

多种计算场景的结合

假设场景：与新浪微博合作，通过一个消息队列实时接收微博信息，根据指定关键字过滤消息

消息队列消息队列

消息队列

消息队列

微博

微博

Storm

传统方案：使用Storm读取消息队列内容，设定Bolt进行关键字过滤

BDTC2014中国大数据技术大会暨第二届CCF大数据学术会议

BDTC

多种计算场景的结合

假设场景：与新浪微博合作，通过一个消息队列实时接收微博信息，根据指定关键字过滤消息，再通过实时配置SQL对微博进行统计分析，生成实时报表

消息队列

消息队列

微博

微博

HDFS

HD

F

S

Storm

传统方案：

使用Storm读取消息队列内容，设定Bolt进行关键字过滤，将结果写入HDFS使用Hive或者Impala实现SQL统计分析

BDTC2014中国大数据技术大会暨第二届CCF大数据学术会议

BDTC

多种计算场景的结合

假设场景：与新浪微博合作，通过一个消息队列实时接收微博信息，根据指定关键字过滤消息，通过机器学习，对关键字不断进行调整，再通过实时配置SQL对微博进行统计分析，生成实时报表；

消息队列Hive/

消息队列

微博HD

微博

H

D

F

S

Storm

Mahout

传统方案：

使用Storm读取消息队列内容，设定Bolt进行关键字过滤，将结果写入HDFS使用Hive或者Impala实现SQL统计分析

使用Mahout实现机器学习算法，将训练后的算法模型回传给Storm

2014中国大数据技术大会BDTC暨第二届CCF大数据学术会议

2014中国大数据技术大会

多种计算场景的结合

Spark方案：商业产品：DatabricksCloud

消息队列消息队列

消息队列

消息队列

微博Spark

微博

Streaming

十

MLlib

优势：

1同一套架构，学习成本较低2资源可统一规划

3流计算与MachineLearning数据交互简单

开源产品：zeppelin

/NFLabs/zeppelin

BDTC

BDTC暨第二届CCF大数据学术会议

2014中国大数据技术大会

多数据源的计算中心

对于大多数公司来说，数据会根据应用场景被存储到多种数据源以我们熟悉的电信行业举例：

数据类型

举例

应用场景

存储方式

单据类数据

通信详单，账单

随机查询

HBase,

Cassandra

日志类数据

信令数据，应用日志

汇总分析

HDFS

关系类数据

用户资料，订购关系

实时更新，关联查询

RDBMS

但是，这些数据单独应用只能满足企业内部若干独立的应用场景

想要真正的从数据中获得最大的价值，必须让所有数据关联到一起进行计算分析

多数据源的计算中心

计算引擎

RDBMSETLHDFS

复杂的数据同步流程

极大消耗网络带宽和存储资源

2014中国大数据技术大会暨第二届

2014中国大数据技术大会

暨第二届CCF大数据学术会议

MRHBASE

BDTC

2014中国大数据技术大会暨第二届CCF大数据学术会议

多数据源的计算中心

Spark1.1.0通过扩展RDD实现外部数据访问

Spark

HadoopFileRDD

R