大学计算机基础（第6版）（微课版） 课件 第11章 计算机新技术与应用.pptx

大学计算机基础

第11章计算机新技术与应用大学计算机基础课程组2022年4月

目录：教学内容大数据1云计算2物联网3区块链4人工智能52

教学目标掌握大数据、云计算、物联网、区块链、人工智能的基本概念12了解大数据、云计算、物联网、区块链的关键技术3掌握大数据、云计算、物联网、区块链、人工智能的基本特征

1.1大数据的概念大数据（BigData），或称巨量资料，指的是所涉及的资料量规模巨大到无法通过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策等积极目的的资讯。大数据并不是一种新的产品，也不是一种新的技术，它只是数字化时代出现的一种现象。“大数据”时代产生了庞大、繁杂、快速变化的数据，使用传统技术手段已经无法管理与应用这些数据。概念

1.2大数据的特征特征5V

1.2大数据的特征特征1．大量化指数据的采集、存储及计算的量都非常大。数据的规模与数据存储和网络技术的发展紧密相关。随着数据处理技术和通信技术的发展，数据的产生量和存储量成倍增长。数据量已经从TB级别跃升到PB、EB乃至ZB级别。存储单位从GB到TB,乃至PB、EB级别。据IDC估测，人类社会产生的数据每年都在以50%的速度增长。社交网络、移动网络、各种智能工具及服务工具等都成为数据的来源。

1.2大数据的特征特征2．快速化大数据的快速化主要表现为数据的实时响应和快速处理。数据处理快速化是大数据区别于传统数据挖掘最显著的特征。3．多样化多样化指大数据包括多种不同类型的数据。数据有三种基本类型：结构化数据、非结构化数据和半结构化数据。

1.2大数据的特征特征4．价值化大数据的价值具有稀缺性、不确定性。大数据中数据价值密度相对较低，即有价值的数据所占比例很低。随着数据量的增长，数据中有意义的信息却没有成相应比例增长。通常可通过机器学习、数据挖掘等方法从数据中挖掘有价值的信息，并将其应用于相关领域。5．真实性真实性指数据的质量和保真性。大数据环境下的数据要保证准确性、可信赖度。

1.3大数据的技术大数据技术是使用一系列非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。

1.3大数据的技术1．数据采集技术①系统日志数据采集方法：很多互联网企业都有自己的用于系统日志数据采集的海量数据采集工具，如Hadoop的Chukwa。②对非结构化数据采集方法：非结构化数据包括企业内部数据和网络数据。网络数据采集是利用互联网有哪些信誉好的足球投注网站引擎技术实现对有针对性、行业性的数据抓取，并按一定规则和标准进行数据归类，形成数据库文件的过程。如通过网络爬虫从网站上获取相关网页内容，从中抽取用户所需要的属性内容。③其它数据采集方法：对企业或科研院所的必威体育官网网址性要求较高的数据，可通过与其合作的方式，使用特定系统接口等方法采集数据。

1.3大数据的技术2．数据预处理技术数据预处理包含4个部分：数据清理、数据集成、数据变换、数据规约。（1）数据清理数据清理是在获取多个维度、多个来源、多种结构的数据之后，对数据进行遗漏值处理、噪音数据处理和不一致数据处理。目的在于删除重复信息，纠正错误信息。①遗漏数据-可用全局常量、属性均值、可能值填充或者直接忽略该数据等方法处理。②噪音数据-可用分组（先对原始数据进行分组，然后对每一组内的数据进行平滑处理）、聚类、人机检查、回归等方法去除噪音。③对于不一致数据可进行手动更正。

1.3大数据的技术2．数据预处理技术（2）数据集成数据集成是指把来自不同数据源、不同格式、不同性质的数据整合并存储到一个统一的数据库中,这一过程并非简单的数据合并，而是将数据进行统一化和规范化处理后形成初始的挖掘数据。在这个过程中需要着重解决3个问题：模式匹配、数据冗余、数据值冲突检测与处理。（3）数据变换数据变换就是将数据转换成适合挖掘的形式，采用线性或非线性的数学变换方法将多维数据压缩成较小维的数据，消除他们在时间、空间、属性及精度等方面的差异。如统计学的数据标准化。

1.3大数据的技术2．数据预处理技术（4）数据规约数据规约是从数据库或数据仓库中选取并建立用户感兴趣的数据集合，并从数据集合中过滤掉一些无关的、有偏差的、重复的数据。数据规约包括数据方聚集、维归约、数据压缩、数值规约和概念分层。数据规约主要有两种途径：属性选择和数据采样。使用数据规约技术可以使数据集在变小的同时仍然保持数据的完整性。

1.3大数据的技术3．数据存储及管理大数据存储及管理技术重点研究复杂结构化、半结构化和非结构化大数据管理与处理技术,解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。具体来讲需要解决以下几个问题：海量文件的存储与管理、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性。目前常用的数据存储方法：开发新型数据库技