分布式流数据实时与持续计算强琦.ppt

用户API简介 应用级 IProcessModule类：用户实现。在触发器模式下，用户编写模块（组件）。 EventProcessor类：用户实现。适用于流模式（简单事件）用户模块（组件）的编写。 Mapper类：用户实现。适用于MR模式下用户模块（组件）即MAP的编写。 Preparer类：用户实现。适用于MR模式中的相关集动态生成场景下，相关集生成用户模块的。详见：kmean的例子。 Reducer类：用户实现类。适用于MR模式下用户模块（组件）即REDUCE的编写。 Merger类：用户实现类。适用于MR模式下，合并模块（组件）的编写。详见：wordcount的例子。 GraphComputing类? SQLEngine? DSLEngine? 用户API说明 Iprocess目前支持三种模式 流（简单事件）模式，类似于S4和STORM。用户在此模式下工作，需要实现EventProcessor等接口 MapReduce模式，用户需要实现Map, preparer, reduce, merger等接口 触发器 （复杂事件）模式，用户需要实现IProcessModule等接口 实际iprocess在最底层只有一种模式即触发器模式（IProcessModule），用户工作在流模式和MR模式，最终系统也会将这两种模式的代码转化为触发器模式进行计算（容器组件实现，类似SQL），编程模型可扩展 简化用户编码 兼容MR代码 兼容STORM代码 例子 MapReduce例子（代码直接复用，效果大不一样） 访问记录 实时JOIN SQL执行 Kmean聚类 例子 SNS推荐系统 用户将公司名修改，引发推荐的实时变化 某用户增加一个好友会引发对自己和对别人的推荐变化 实时人立方(剪枝) 风控CEP 构建技术生态体系 开放的体系 GlobalTable，cache，partition等 可扩展编程模型 从基本的触发器模式可扩展 实时MR 流模式 图计算 SQL引擎 规则引擎 DSL 全面提升业务的实时处理能力 实时有哪些信誉好的足球投注网站 原来做不了的事情，提升到秒（分）级 原来做的慢的事情(天)，提升到秒（分）级 风控 平台体系化 从CEP到RPM 交易实时分析 从两天到秒级（CBU） 活动实时推荐 从天到秒级（ICBU） 全面提升业务的实时处理能力 BNS 难度最大 关系的实时变化带来实时推荐 实时人立方，pregel做不到的 删除关系 平台化，成体系 金融 被动型基金 从消息源实时获取信息快速动作 全面提升业务的实时处理能力 广告 实时结算 实时反馈 日志实时分析 快速决策 展望 全站的神经 打通全身经脉 统一平台 即通且畅 数据，信息流动四通八达 业界有影响力的技术产品 业界有影响力的技术产品 具有原创技术并发表影响力论文(osdi2012,…) 业界有技术影响力的会议(hadoop china 2011) Hive架设在IPROCESS Nutch架设IPROCESS提供整套实时有哪些信誉好的足球投注网站方案 部分开放分布式存储 开源 职责 打造平台 实时计算（功能易用性迭代） 持续计算（功能易用性迭代） Iprocess将专注，专业，专心于完备事件机制。只提供最基本的功能，提供高度可定制的接口，上层可定制出不同平台（计算模型）和业务系统。 合作打造技术生态体系 合作开发容器类组件(hive之于mapreduce，MR模，流模型，图计算模型，SQL,规则引擎等) 协助开发通用组件（指标集，分词组件等） 协调可复用子图(物化VIEW) 协调可复用系统 目前进展与近期规划 Iprocess0.1(Q1,Q2)：完备事件，图模型==storm,s4 Iprocess0.2(Q3)：树存储，完善事件，保序等 Iprocess0.2.1(Q3)：有哪些信誉好的足球投注网站，网站交易落地 Iprocess0.3(Q4)：事件机制基本完善，MR模型 Iprocess0.3.x(Q4,12Q1)：跨语言，易用性，风控，BNS落地 Iprocess0.4(12Q1，Q2)：图计算，开放控制接口，服务化，调度，持续计算，监控，IDE，DEBUG环境，完善事务 Iprocess0.4.x(12年Q2,Q3)：SQL引擎，其它落地 Iprocess0.5(12年Q3,Q4)：服务化，完善开发和调试，迭代计算，hbase分支 规划 构建技术生态体系 11年Q4,12年Q1,Q2。有哪些信誉好的足球投注网站中心合作打造有哪些信誉好的足球投注网站实时/全量计算 11年Q4,12年Q1,Q2。风控合作打造通用的CEP，RPM系统 11年Q4,12年Q1,Q2 。BNS合作打造基于关系的实时计算体系 12年?安全部门合作打造实时的安全检测体系 12年?数据平台合作打造实时的数据服务体系 全面提升业务的实时处理能力 11-12年Q3实时有哪些信誉好的足球投注网站 12年Q