大数据技术原理与应用第3版C1-4.pdf

大数据技术原理与应用第3 版C1-4 ● C1 大数据技术概述 ● 三次信息化浪潮 ● 标志| 解决的问题 ● 第一次个人计算机信息处理 ● 第二次互联网信息传输 ● 第三次大数据云计算物联网信息爆炸 ● 大数据的特点（4V ） ● Volume 数据量大 ● Variety 数据类型多 ● 结构化10%：关系数据库 结构化数据：这种信息可以在关系数据库中找到，主导 IT 应用，是关键任 务OLTP 系统业务所依赖的信息。 ● 非结构化90% ：邮件音频视频... 半结构化数据：以内容为基础，包括电子邮件、文字处理文件等 非结构化 数据：该信息在本质形式上可认为主要是位映射数据，数据必须处于一种可 感知的形式中（如音频、视频文件中被听到或看到 ● Value 数据价值密度低 ● Velocity 速度快，时效高 ● 大数据影响 ● 大数据对科学研究的影响 ● 实验科学→理论科学→计算科学→数据密集型科学 ● 大数据对思维方式的影响 ● 全样非抽样效率非精确相关非因果 ● 大数据技术层面 ● 数据采集与预处理 ● 数据存储和管理 分布式文件系统、数据仓库、关系数据库、NoSQL 、云数据库.etc ● 数据处理与分析 分布式并行编程和和计算框架 ● 数据安全和隐私保护 ● 大数据的关键技术 ● 分布式存储 GFS\HDFS BigTable\HBase NoSQL （键值、列族、图形、文档数据库） NewSQL （如：SQL Azure） ● 分布式处理 MapReduce ● 大数据计算模式 ● 批处理计算 ● 针对大规模数据的批量处理 MapReduce 、Spark 等 ● 流计算 ● 图计算 ● 查询分析计算 ● 大数据与云计算、物联网 ● 云计算 ● 云计算的服务模式和类型 ● Saas Paas Iaas (sip) | software platform infrastructure ● 云计算关键技术 虚拟化、分布式存储、分布式计算、多租户等 ● 三者关系 ● 云计算为大数据提供了技术基础 大数据为云计算提供用武之地；物联网是 大数据的重要来源 大数据技术为物联网数据分析提供支撑；云计算为物联 网提供海量数据存储能力物联网为云计算技术提供了广阔的应用空间 ● 习题 ● 云计算的典型服务模式包括： ABD ● A. S(software)aaS ● B. P(platform)aaS ● C. MaaS ● D. I(infrastructure)aaS ● 第一次信息化浪潮主要解决什么问题 B ● 信息传输 ● 信息处理 ● 信息爆炸 ● 信息转换 ● A ● D ● 大数据产业指什么? A ● (A)一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合 ● (B) 提供智能交通、智医疗、智能物流、智能电网等行业应用的企业 ● (C)提供数据分享平台、数据分析平台、数据租售平台等服务的企业 ● (D)提供分布式计算、数据挖掘、统计分析等服务的各类企业 ● A ● A ● D ？ ● A ● | D ● D ● C2 Hadoop 大数据处理架构 ● Hadoop 的核心 ● 是分布式文件系统（Hadoop Distributed FileSystem ，简称HDFS ）和 MapReduce