大数据未来研究方向.pdf

超越 Hadoop* 的大数据：未来的研究方向 Jason Dai 工程总监兼首席工程师，软件与解决方案事业部 芮勱 恪 博士 科研计划总监, 高校科研协作办公室 ACAS002 议程 • 大数据和 Hadoop* 生态系统 • 英特尔与大学合作大数据研究 • 高效的 map reduce 内存实施 • 高效的图形分析算法 • 英特尔努力推动生产研究 本课程演示文稿（PDF）发布在技术课程目录网站: /go/idfsessionsBJ 该网址同时打印于会议指南中专题讲座日程页的上方 2 议程 • 大数据和 Hadoop* 生态系统 • 英特尔大学合作部和大数据研究 • 高效的 mapreduce 内存实施 • 高效的图形分析算法 • 英特尔努力推动生产研究 3 什么是大数据? 大数据的特点是数量大、速度快、现有系统与算法难以处理。 • 数量大 – TB 级转向 PB 级 – 需要智能(而非强力)的大规模并行处理 • 速度快 – 无所不在的传感器带来了新的海量数据 – 摄取困难 • 处理难 – 需要复杂分析(例如，查找类型、趋势和关系) – 需要整合多种数据类型(无模式，无管理， 不一致的句法和语义) 数据应当是资源，而非负载 现有数据处理工具不够完善 4 Samuel Madden ISTC 主任与教授 EECS, MIT 例如： Web 分析 大型网络企业： 成千上万的服务器， 不计其数的用户，和 每天TB 级的“键击资料” 不仅仅是简单的报告： 例如：实时分析用户的下一步操作，或 应该为他们提供什么广告，或 他们可以归于哪一用户类型 现有分析系统要么： 无法扩展至所需规模，要么 无法提供所需完善度 5 Samuel Madden ISTC 主任与教授 EECS, MIT 例如： 传感器分析 智能手机提供商 收费机构 市政部门 保险公司 医生 企业 采集大规模视频流，定位，加速， 以及来自手机和其它设备的数据 这些数据需要存储、处理并挖掘， 例如，评测交通量、驾驶风险或医疗诊断。 6 Samuel Madden ISTC 主任与教授 EECS, MIT 大数据生态系统中的 Hadoop* 数据交换时代 经济高效的垂直 解决方案 电子商务 医疗 制造 能源 - 科学 FSI 传统业务解决方案 新分析模式 业务流程创新 内存数据库— 集成式分析 — 系统与设备 EXALYTICS 大数据 计算