企业大数据整体建设解决方案.pptx

大数据企业架构讨论案例研究：智慧交通大数据实时处理和分析目的：提高城市交通的科学管理和组织服务水平业务目标? 智能交通数据的有力支撑? 智能交通公共信息服务的实时传递和快速反 应的应急指挥? 智能交通业务联动快速应对变化? 可视化事件跟踪? 压力传感器 传感 ? 速度传感器 器 ? 生物传感器? 温度、湿度……? 射频天线扫描? 电子标识RFID挑战? 近千万辆轿车、轨道交通、快速公交系统? 高并发事件及数据流的实时处理? 海量非结构化大数据的组织与分析摄像 ? 高速拍照头 ? 高清摄像头智能交通整体规划架构公共个人政府 企业信息服务用户服务ITS智能交通物联网平台城市综合信息管理平台铁路综合管理平台水运综合管理平台公共交通运营管理平台 监控 车次号识别紧急救援 CBTC旅行时间 路径识别应用层/信息处理公路可视化综合信息平台雷达测速 GIS通信信号电警ETC接处警 卡口视频监控PIS事件检测BRT交通诱导 信号控制出行者信息系统电子站牌智能停车场公交调度管理网络层/ 信息传输Internet车地双向实时无线通信网数传电台政府专网GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP感知层/ 信息采集交通行业/i?ct=503316480amp;z=0amp;tn=baiduimagedetailamp;word=%BA%A3%D4%CBamp;in=31274amp;cl=2amp;cm=1amp;sc=0amp;lm=-1amp;pn=204amp;rn=1amp;di=592150480amp;ln=2000amp;framp;ic=0amp;s=03数据获取数据传输 数据处理数据是智能交通的核心数据获取数据处理数据传输? 低延时? 高并发的交易? 高度灵活的数据结构? 深度分析? 敏捷开发? 高度扩展性? 实时分析结果?大吞吐量?实时准备?所有的数据源及数据结构4DiscussionPeople. Process. Portfolio.实时事件处理 — 概念图解业务场景? 重要车辆监控? 交通诱导? 出行者信息实时警报BPEL? 移动? 信息板? 数据库NoSQL? 技术机遇? 实时处理大数据量? 合并历史事务和实时事务流（CEP 引擎）批处理架构决策? 实时流? 利用现有分析? 最大限度地减少数据移动HDFS实时分析数据流历史数据源实时数据源计算配置文件事件处理规则和结果外部数据库黑名单Hadoop 集群小型机历史事务实时事务（基于消息）备份历史配置文件CEPNOSQLRDBMS事务RDBMS实时位置关联和分析 — 概念图解业务机会? 行车路线建议? 信号控制? 交通流量分析HDFS数据仓库技术选择? 将缩减结果集成到关系数据 库? 构建另一个环境? 手动关联BI平台与分析数据库中的 分析MapReduce架构决策? 使用集成元数据? 使用标准 BI 平台? 最大限度地减少数据移动数据集市NoSQL实时处理和分析 — 逻辑图解关键组件CEP/SOACoherence消息流Oracle ExalogicHDFS 和 NoSQLMapReduceOracle Advanced AnalyticsInfiniOracle BIBandInfiniBandOracle大数据连接器Oracle大数据机Oracle ExadataOracle ExalyticsOracle 大数据机Oracle ExalogicOracle CEP/CoherenceOracle SOA SuiteOracle 大数据连接器Oracle ExadataOracle Advanced AnalyticsOracle ExalyticsOracle BI FoundationDiscussionPeople. Process. Portfolio.问题? 请为自己公司/单位设计一个大数据的解决方案。分组讨论结束之后，每组派一到两个代表上来讲一下这个方案? A) 公司里存在哪些数据? 结构化/多结构化/大小/实 时数据/流式数据? 公司是否已经应用了非关系型数据库? B)那些业务考虑引入大数据? C)有了这些大数据，如何设计公司的大数据平台? D)公司数据的问题或者远景? 企业的数据架构远景＠岳‘.＿←..’...。同ACL1a: .a吕.S案例：Facebook数据仓库架构Hadoop@Facebook世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case? 从大量数据中产生每天和每小时的汇总.在历史数据中执行 ad hoc jobs? 事实上作为一个长期的数据归档? 根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响13Hadoop Map/Red