新一代信息技术PPT课件.pptxVIP

第3章 大数据案例导读——得数据者得天下1. 大数据是“21世纪的石油和金矿”从资源的角度看，大数据是‘未来的石油’；从国家治理的角度看，大数据可以提升治理效率、重构治理模式，将掀起一场国家治理革命；从经济增长角度看，大数据是全球经济低迷环境下的产业亮点；从国家安全角度看，大数据能成为大国之间博弈和较量的利器案例导读——得数据者得天下2. 大数据可促进国家治理变革 专家们普遍认为，大数据的渗透力远超人们想象，它正改变甚至颠覆我们所处的时代，将对经济社会发展、企业经营和政府治理等方方面面产生深远影响。 大数据不仅是一场技术革命，还是一场管理革命。它提升人们认知能力，是促进国家治理变革的基础性力量。在国家治理领域，打造阳光政府、责任政府、智慧政府建设上都离不开大数据，大数据为解决以往的“顽疾”和“痛点”提供强大支撑；大数据还能将精准医疗、个性化教育、社会监管、舆情检测预警等以往无法实现的环节变得简单、可操作。案例导读——得数据者得天下3. 中国具备数据强国潜力近年来，党中央、国务院高度重视大数据的创新发展，准确把握大融合、大变革的发展趋势，制定发布了《中国制造2025》和“互联网+”行动计划，出台了《关于促进大数据发展的行动纲要》，为我国大数据的发展指明了方向，可以看作是大数据发展“顶层设计”和“战略部署”，具有划时代的深远影响。3.1 大数据是什么案例导读——行业大数据应用1. 大数据应用案例之：医疗行业2. 大数据应用案例之：能源行业3. 大数据应用案例之：通信行业4. 大数据应用案例之：网络营销行业3.1 大数据是什么案例导读——行业大数据应用1. 大数据应用案例之：医疗行业1）在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。2）乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。3.1 大数据是什么案例导读——行业大数据应用 2. 大数据应用案例之：能源行业3.1 大数据是什么案例导读——行业大数据应用3. 大数据应用案例之：通信行业3.1 大数据是什么案例导读——行业大数据应用4. 大数据应用案例之：网络营销行业3.1 大数据是什么大数据的定义定义 1：维基百科对大数据的定义简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。定义 2：Gartner 的定义（3V 定义）如下：大数据是大容量、高速度和多种类的信息资产， 需要新的处理形式来实现增强的决策、洞察力发现和流程优化。定义 3：当数据的规模和性能要求成为数据管理分析系统的重要设计和决定因素时，这样的数据就被称为大数据。定义4：大数据有两个不同于传统数据集的基本特征。（1）大数据不一定存储于固定的数据库，而是分布在不同地方的网络空间。（2）大数据以半结构化或非结构化数据为主，具有较高的复杂性。3.1 大数据是什么大数据的3V和5V特征Veracity 真实和准确Value 价值3.1 大数据是什么大数据相关术语⑤ 大数据采集与预处理技术⑥ 大数据存储与管理技术⑦ 大数据分析与挖掘技术⑧ 大数据可视化技术⑨ 大数据安全技术① 数据湖② 数据治理③ 集群计算④ 黑暗数据3.1 大数据是什么大数据与云计算、物联网、互联网之间的关系3.2 大数据的成长及挑战挑战与机遇1.数据的挑战与机遇2.技术的挑战与机遇3.用户的挑战与机遇3.3 大数据技术及应用大数据技术框架3.3 大数据技术及应用大数据常用处理工具种 类工 具 示 例 平台LocalHadoop、MapR、Cloudera、Hortonworks、BigInsights、HPCCCloudAWS、Google Compute Engine、Azure 数据库SQLMySQL（ Oracle）、MariaDB、PostgreSQL、TokuDB、Aster Data、VerticaNoSQLHBase、Cassandra、MongoDB、RedisNewSQLSpanner、Megastore、F1数据仓库Hive、HadoopDB、Hadapt数据收集ScraperWiKi、Needlebase、bazhuayu数据清洗DataWrangler、Google Refine、OpenRefine 数据处理批处理MapReduce、Dyrad流式计算Storm、S4、Kafka内存计算Drill、Dremel、Spark查询语言HiveQL、Pig Latin、DryadLINQ、MRQL、SCOPE统计与机器