大数据科学与工程系列课件.pptx

大数据科学与工程系列

大数据体系结构

陈志成

中国科学院大学

2014年06月

主要内容

一、大数据时代的新命题

二、大数据的体系结构

三、大数据的关键技术

四、物联网与云计算架构

五、知名企业大数据架构

六、大数据系统设计案例

总结、交流、作业

一、大数据时代的新命题

谷歌大数据中心：全球主要DC有8个

大数据表象概念：百度数据规模

数据总量·100~1000PB

数据处理量·10~100PB/天

网页·千亿~万亿

索引·百亿~千亿

更新量●十亿~百亿/天

请求●十亿~百亿/天

日志·100TB~1PB/天

大数据表象概念：对系统要求

数据密集型

计算密集型

实通讯密集型

时

结构存储计算

访问模式

超大规模系统设计、开发、

测试、运维

体系结构、虚拟化

数据中心

大数据时代的新命题：

■数据在爆炸式增长

一互联网海量大数据是最

一物联网各类型数据具粼摄镗构华个森鼻

发数据处理能力要求提高

一大规模数据存取方式海量数据与快速处理是一

一大数据并行技术能力对悖论.

数据间关联性分析加强

一社交网络关系

一多业务关联性

一用户行为分析

■网络数据的实时同步

一一切营销都线下+线上

一多业务跨地域数据同步

信息时代的大数据需求

信息社会需求：信息化-智能化-现代化

人力工具动力工具

智能工具

镰刀机车

------推理机

锄头机床

----—-智能网

个个

农业社会工业社会信息社会

信息时代数据大爆炸，推动智能技术发展

三个时代的基本问题与核心理论

社会发展趋势

时代演变进程材料时代能源时代信息时代

材料加工的动力驱动的处理信息的

工其发展水平

简单工其机械工其智能工其

物质组成和物体运动和信息结构和

基本科学问题

化学变化能量转换运动规律

核心基础理论化学物理逻辑

对应经济类型自然经济工业经济知识经济

信息时代，软件编程模型发展

■“面向信息处理”的智能化编程模型，编程简化为数据配置

与管理

面向结构面向对象