ntel智慧交通解决方案.pptx

英特尔智慧交通解决方案 -英特尔大数据平台最佳实践 提纲 • 大数据带来交通管理上的挑战 • Intel企业级 Hadoop平台 • 基于Intel Hadoop构建智慧交通应用解决方案 大数据时代-数据爆发性增长 3 统计、分析、预测、实时处理 IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB (1ZB = 10亿TB) *Source: McKinsey Global Institute Analysis SG Cross Asset Research, PwC Value 大数据处理速度要求越来越高 • 大数据与海量数据的一 个重要区别，在于不但 数据尺寸大，而且对数 据处理的响应速度有有 着更高的要求 • 传统的以周，天，小时 为单位的运算处理周期 ，下降到以分钟，秒为 单位 • 大数据高价值的重要体 现-处理速度 High utility Diminishing utility Archival value Time High Low Negative 数据的多样性 • 数据形式的多样: – 结构化数据 ，数据间有很强的因果关系 – 半结构化数据 ，数据间因果关系较弱 – 非结构化数据， 数据间无因果关系 • 数据来源的多样性: – – – – 不同的应用系统 各种设备 互联网 其它 Flat file 创造显著业务价值（VALUE） © Copyright 2011EMCCorporation. All rights reserved. 大数据分析 显著的业务价值 3V特性驱动下创建 挖掘数据资产价值，通过数据驱动业务，变 成本中心为利润中心 智慧城市-最典型的大数据应用 7 智能交通系统面临大数据的挑战 • 海量数据 − 城市A: 500000个探头, 三个月会产生200PB的视频数据 − 城市B: 12,000个ITS探头, 每天20亿条记录，三个月产生1PB的数据 • 实时计算 − 实时数据的采集、扫描、查询和共享 − 实时事件监测 − 准实时的预测分析 • 大型跨区域分布式计算 − − − − − 数据过于庞大，建设中心机房困难 带宽所限无法将海量数据汇总至总中心 数据多为分中心本地用户访问 数据过于集中，系统风险加大 总中心投资过大，无法分摊到位 8 数据处理需求与传统平台扩展能力之间的差距 不断增大 数据处理需求与 传统平台硬件扩 展的差距不断扩 大 Industry Progress 大数据处理 需要的扩展 能力 Big Data Big 云计算技术是有效处理大数据的有效手段 大数据和云是两个不同的概念，但两者之 间有很多交集。支撑大数据以及云计算的 底层原则是一样的，即规模化、自动化、 资源配置、自愈性，因此实际上大数据和 云之间存在很多合力的地方。大数据应用 是在云上跑的、非常典型的应用。例如尽 管电子邮件也是云上的应用之一，但也可 以脱离云架构，但是大数据应用必须架构 在云设施上。这就是两者的关系 ——大数据处理离不开云 海量数据分析处理向云系统架构演进 • 结构化数据 • 数据规模一般为TB规模 • 集中式，为了分析进行大量数据移动，数据向计算靠近 • 批处理为主 事务 关系型数据库 批处理 数据仓库 集群化 非结构化 流式 多种数据源 分析 (MapReduce) 组织 传统BI分析 大数据分析 • 结构化/非结构化混合分析的能力 • 数据规模从数十TB到PB级别 • 分布式，计算向数据靠近 • 支持流式分析 Examples: Telco Govt Finance Web 提纲 • 大数据带来交通管理上的挑战 • Intel企业级 Hadoop平台 • 基于Intel Hadoop构建智慧交通应用解决方案 什么是Hadoop? • 开源Apache 项目,灵感来源于Google的 MapReduce白皮书和Google文件系(GFS), Yahoo完成了绝大部分初始设计和开发 • Hadoop 核心组件包括: -分布式文件系统 -Map/Reduce – 分布式计算 • 用Java编写 • 运行平台: •Linux, Mac OS/X, Solaris •普通的X86硬件平台 Shuffle Map Reduce Hadoop 之上的常见应用组件 Hadoop.apache.org • MapReduce的过程化语言接口 • 高可用分布式协调器 • Hadoop上的类SQL引擎 • 用于随机实时读写访问的数据库引擎（NOSQL） • 工作流式的作业管理器和协调器 • 可扩展的机器