《大数据导论》课件 第1章 绪论.pptx

第1章绪论演讲人2024/12/24

本章学习目标了解大数据的基本概念、基本特征、构成与容量单位了解大数据的价值与作用、大数据时代的新变革了解大数据处理的基本环节和支撑技术了解大数据安全和共享的基本概念了解大数据的发展现状和发展趋势理解数据要素在社会、经济、生活中的重要性，培养“用数据说话”的理念了解我国大数据发展现状和政策法规，培养科技报国的情怀与担当

目录1.1引言1.2数据1.3大数据的相关概念1.4大数据的意义、价值与作用1.5大数据时代的新变革1.6大数据处理的主要环节1.7大数据的安全和共享1.8大数据的发展现状和趋势1.9小结

1.1引言当前世界正处于向数字化全面转型的过程中，数据是数字经济时代的关键生产要素，是国家基础性战略资源，是推动经济社会高质量发展的重要引擎。随着信息技术和人类生产生活交汇融合，互联网和物联网的快速普及，全球数据呈现爆发式增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。

大数据作为一种资源、技术、工具和方法，已经深刻影响了人们生活的各个方面，并对人类认知世界及与世界交流的方式提出了全新的挑战。正如维克托迈尔舍恩伯格（ViktorMayer-Sch?nberger）在《大数据时代》一书中指出的：“大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型”。

随着大数据技术进入人类活动的各个领域，我们在利用大数据的同时也在源源不断地产生大数据，并在实践中逐渐对大数据中所蕴含的价值有了清晰的认识，迫切需要运用大数据技术进行数据的分析和知识的挖掘，提升认识世界、发现规律和预测未来的能力。

1.2数据数据是对事实或观察结果的记录，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。按照《中华人民共和国数据安全法》给出的定义，本法所称数据，是指任何以电子或者其他方式对信息的记录。由此可见，数据本身可以有丰富的表现形式。它不仅指狭义上的数字，还可以指具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也指客观事物的属性、数量、位置及其相互关系的抽象表示。数据可以是连续的值，如声音、图像，被称为模拟数据；也可以是离散的，如符号、文字，被称为数字数据。

从计算机科学的角度，数据是所有能输入计算机并被计算机程序处理的符号的总称，是用于输入计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。在计算机系统中，数据以二进制信息单元0、1的形式表示。

1.2数据从人类认知的角度，数据是汇聚起来用于认知的原材料，信息是人类可以理解和认知的事物的状态和联系。从“数据—信息—知识—智慧”的DIKW（Data-Information-Knowledge-Wisdom）模型来看（见图1-1），数据是信息的表现形式和载体，而信息是经过加工的数据。数据本身没有意义，数据只有通过人类的分析和处理，才能成为对人类有用、具有特定功能的信息。数据是信息的表达，信息是数据的内涵。

1.2数据

知识是在对信息进行综合、提炼的基础上获得的经验、判断与理解；智慧是合理地应用知识并进行正确判断、决策的能力。图1-1DIKW模型示意图

1.2数据1.2.1数据的构成数据可以分为结构化数据、半结构化数据和非半结构化数据3类。（1）结构化数据结构化数据具有固定的结构、类型和属性划分等，通常可以用二维表表示，如用关系型数据库存储的信息、Excel表中存放的信息等。例如，学生信息表，具有学号、姓名、性别、出生日期和电话号码等属性。

1.2数据（1）结构化数据表1-1所示为结构化数据示例，其数据由每一行的记录组成，每个记录有若干个属性或特征。

表1-1结构化数据示例学号姓名性别出生日期1100101小王男1998-03-051100102小李女1999-08-051100103小陈男2000-03-07

1.2数据（2）半结构化数据半结构化数据具有一定的结构性，但又灵活多变，如XML（eXtensibleMarkupLanguage，可扩展标记语言）或HTML（HyperTextMarkupLanguage，超文本标记语言）格式的文件，其自描述、数据结构和内容混杂在一起。XML是一种W3C制定的标准通用标记语言，已成为国际上数据交换的一种公共语言。右边的代码用XML文件格式来描述表1-1中的3个记录。

1.2数据（3）非结构化数据非结构化数据是指无法采用固定的结构来表示的数据，如文本、图像、视频和音频等数据。非结构化数据的格式非常多样，无法用统一的结构表示，而且在技术上非结构化信息比结构化信息更难标准化和理解