大数据时代的数据集成.pdf

大数据时代的数据集成 何应龙 资深信息集成专家 大数据市场和信息整合,数据治理需求旺盛 前所未有的数据数量，多样性，速度，超越了之前任何一个时代！ 大数据带来了新机会，新视野，同时也面临新的数据精确性挑战 ！ Volume Velocity Variety of video 12terabytes 5million 100’sfeeds of Tweets create daily trade events per second from surveillance cameras Analyze product sentiment Identify potential fraud Monitor events of interest of data 350billion 500 million 80% growth meter readings per annum call detail records per day is images, video, documents Predict power consumption Prevent customer churn Improve customer satisfaction Veracity: 我们可以信赖看到的数据吗? 典型大数据应用场景 Data Reservoir和逻辑数据仓库 数据仓库卸数 现代数据仓 warehouse 通过卸载 warehouse 库架构通过 “dark data ” Data 或数据沙箱 Reservoir   BigIntegrate 改善现有数 BigIntegrate BigQuality ( BigQuality) 提升效率及 据仓库的投 TCO，扩展 资效率 分析范围 HDFS HDFS 增强的360º视图 探索性分析 通过整合关 MDM 以更敏捷和 联新数据源 迭代方式， 与构建数据 BigIntegrate 更快的探索 BigIntegrate 综合视图来 BigQuality 和发现新的 BigQuality 增强关键业