Hadoop大数据原理与应用课件-第1章大数据概述(2020春).pptx

第1章大数据概述《Hadoop大数据原理与应用》西安电子科技大学出版社【知识与能力要求】第1章 大数据概述1.1 大数据内涵1.2 大数据特征1.3 大数据关键技术1.4 大数据产业1.5 大数据与物联网、云计算、人工智能、5G的关系1.6 大数据岗位介绍1.7 大数据学习路线1.1 大数据内涵大数据开启了时代转型1.1 大数据内涵1.1 大数据内涵1.1 大数据内涵科学研究四范式1.2 大数据特征大数据4V特征1.2.1 Volume大数据的体量非常大，PB级别将是常态，且增长速度较快。据IDC于2018年11月发布的《数据时代2025》报告预测，全球数据总量将从2018年的33ZB增至2025年的175ZB，相当于每天产生491EB的数据。1.2.2 Variety大数据种类繁多，一般包括结构化、半结构化和非结构化等多种类型的数据。例如：网络日志、视频、图片、地理位置信息等。这些数据在编码方式、数据格式、应用特征等多个方面存在差异性，多信息源的并发形成了大量的异构数据，不同结构的数据处理和分析方式也有所区别。1.2.3 Velocity数据的快速流动和处理是大数据区分于传统数据挖掘的显著特征。例如：涉及感知、传输、决策、控制开放式循环的大数据，对数据实时处理有着极高的要求，通过传统数据库查询方式得到的当前结果很可能已经没有价值。因此，大数据更强调实时分析而非批量式分析，数据输入后即刻处理，处理后丢弃。1.2.4 Value大数据价值密度的高低与数据总量大小成反比，单条数据本身并无太多价值，但庞大的数据量累积并隐藏了巨大的财富。其价值具备稀疏性、多样性和不确定性等特点。例如：在连续不间断监控过程中，可能有用的数据仅仅只有一两秒，但是无法事先知道哪一秒是有价值的。1.3 大数据关键技术1.3.1 大数据采集技术大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。1.3.1 大数据采集技术1.3.2 大数据预处理技术1.3.3 大数据存储及管理技术1.3.3 大数据存储及管理技术研究重点是复杂的结构化、半结构化和非结构化的大数据管理与处理技术，这些技术包括分布式存储技术，异构数据的数据融合技术，数据组织技术，大数据建模技术，大数据索引技术，大数据移动、备份、复制等。新型数据库技术关系型数据库：传统关系数据库系统以及NewSQL数据库。非关系型数据库：NoSQL数据库，通常包括键值数据库、列式数据库、文档数据库和图数据库四类。数据库缓存系统：Memcache、Redis等。1.3.4 大数据分析及挖掘技术1.3.5 大数据展现与应用技术1.4 大数据产业1.4.1 大数据产业支撑体系建设1.4.2 大数据标准体系建设1.4.3 大数据技术产品研发1.4.4 工业大数据创新应用推动大数据在产品全生命周期和全产业链的应用，推进工业大数据与自动控制和感知硬件、工业核心软件、工业互联网、工业云和智能服务平台融合发展，形成数据驱动的工业发展新模式。加快工业大数据基础设施建设。推进工业大数据全流程应用。培育数据驱动的制造业新模式。1.4.5 加快大数据产业主体培育1.4.6 大数据安全保障1.5 大数据与物联网、云计算、人工智能、5G的关系云端互联云端互联1.5 大数据与物联网、云计算、人工智能、5G的关系—物联网1.5 大数据与物联网、云计算、人工智能、5G的关系—云计算1.5 大数据与物联网、云计算、人工智能、5G的关系—大数据1.5 大数据与物联网、云计算、人工智能、5G的关系—人工智能1.5 大数据与物联网、云计算、人工智能、5G的关系—5G1.6 大数据岗位介绍29%54%85%68%36%大数据人才所处主要行业互联网/电子商务/网络游戏电子信息及软件和信息服务业通信/电信运营、网络设备金融、基金、投资、证券教育、培训、院校专业服务（咨询、法律、财务、人力资源等）符合本单位的价值观和文化逻辑思维能力1.6 大数据岗位介绍沟通表达能力专业技能学校背景大数据领域岗位需求排行平台开发/大数据开发/数据分析//数据挖掘智能硬件/硬件系统开发图像/视觉智能语音/NLP1.7 大数据学习路线1.7 大数据学习路线【本章小结】1. 理解大数据的概念，了解大数据的内涵。2. 理解大数据的4V特征：Volume （海量化）、Variety（多样化）、Value（价值密度低）、Velocity（快速化）。3. 了解大数据处理关键技术：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应