大数据导论教案.pptxVIP

大数据导论教案

大数据概述

大数据技术基础

大数据平台与工具

大数据应用实践

大数据挑战与未来趋势

大数据导论课程总结

contents

目

录

01

大数据概述

定义

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

特点

大数据具有5V特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

1

2

3

20世纪90年代至2008年，大数据概念开始萌芽，主要关注数据存储和计算能力的提升。

萌芽期

2009年至2012年，大数据逐渐受到关注，出现了Hadoop等大数据处理技术和工具。

发展期

2013年至今，大数据技术逐渐成熟，应用领域不断拓展，成为数字经济时代的重要基础设施。

成熟期

利用大数据分析技术，挖掘企业数据中的潜在价值，为企业的决策提供支持。

商业智能

结合大数据技术，对物联网产生的海量数据进行处理和分析，推动物联网应用的深入发展。

物联网

通过大数据分析，实现城市管理的智能化和精细化，提高城市运行效率。

智慧城市

运用大数据技术对金融数据进行处理和分析，提高金融服务的效率和风险管理水平。

金融科技

利用大数据技术对医疗数据进行分析和挖掘，提高医疗服务的精准度和效率。

医疗健康

02

01

03

04

05

02

大数据技术基础

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（归约），和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。

分布式文件系统（DistributedFileSystem，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。

分布式数据库系统是在集中式数据库系统成熟技术的基础上发展起来的，但不是简单地把集中式数据库分散地实现，它具有自己的性质和特征。集中式数据库系统的许多概念和技术，如数据独立性、数据共享和减少冗余度、并发控制、完整性、安全性和恢复等在分布式数据库系统中都有了不同的、更加丰富的内容。

MapReduce编程模型

分布式文件系统

分布式数据库

分布式存储系统

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

NoSQL数据库

NoSQL(NoSQL=NotOnlySQL)，意即“不仅仅是SQL”。在现代的计算系统上每天网络上都会产生庞大的数据量。这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理。1970年E.F.Codds提出的关系模型理论已经统治了数据库领域近四十年。但是，今天的关系数据库管理系统（RDBMSs）遇到了很多难以解决的问题，尤其是遇到大规模的可扩展性（Scalability）的瓶颈时。对于这些问题的解决一些非关系型的数据库得到了很好的发展。NoSQL是非关系型数据库的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在2009年初得到了广泛认同。

数据清洗是指对“脏”数据进行对应方式的处理，脏在这里意味着数据的质量不够好，会掩盖数据的价值，更会对其后的数据分析带来不同程度的影响。有调查称，一个相关项目的进展，80%的时间都花在了数据清洗上，这足以说明数据清洗在数据分析工作中的重要性。

数据挖掘(DataMining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘是一个交叉学科领域，受多个学科影响，包括数据库系统、统计学、机器学习、可视化和信息科学。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

数据清洗

数据挖掘

机器学习

03

大数据平台与工具

Hadoop概述

Hadoop是一个开源的分布式计算平台，它允许使用简单的