大数据基础-走进大数据大数据与区块链.pptxVIP

大数据基础-走进大数据大数据与区块链.pptx

  1. 1、本文档共27页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

大数据基础-走进大数据大数据与区块链

汇报人:AA

2024-01-25

CATALOGUE

目录

大数据概述

大数据技术基础

区块链技术基础

大数据与区块链关系探讨

大数据在区块链中应用实践

挑战与机遇并存:大数据与区块链发展思考

大数据概述

01

定义

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

特点

大数据具有5V特点,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

20世纪90年代至2008年,大数据概念开始萌芽,主要关注数据存储和计算能力的提升。

萌芽期

2009年至2012年,大数据开始受到广泛关注,Hadoop等开源技术不断涌现,数据处理和分析能力得到进一步提升。

发展期

2013年至今,大数据技术逐渐成熟,应用领域不断拓展,包括金融、医疗、教育、物流等各个领域。

成熟期

金融领域:大数据在金融领域的应用主要包括风险管理、客户分析、投资决策等方面。通过对海量数据的挖掘和分析,金融机构可以更加准确地评估风险、了解客户需求、制定投资策略。

医疗领域:大数据在医疗领域的应用主要包括疾病预测、个性化治疗、医疗资源优化等方面。通过对医疗数据的挖掘和分析,医疗机构可以更加准确地预测疾病发展趋势、为患者提供个性化治疗方案、优化医疗资源配置。

教育领域:大数据在教育领域的应用主要包括个性化教学、教育评估、教育资源优化等方面。通过对教育数据的挖掘和分析,教育机构可以更加准确地了解学生学习情况、为教师提供个性化教学策略、优化教育资源配置。

物流领域:大数据在物流领域的应用主要包括路线规划、运输效率提升、物流成本降低等方面。通过对物流数据的挖掘和分析,物流企业可以更加准确地规划运输路线、提高运输效率、降低物流成本。

大数据技术基础

02

分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。因此,将计算分成许多小的部分,分配给多台计算机进行处理,这样可以节约整体计算时间,大大提高计算效率。

分布式计算体系结构包括分布式程序、分布式系统、计算机网络和分布式数据库等组成部分。

分布式计算的原理是将需要进行大量计算的任务分割成小块,由多台计算机分别计算,再对结果进行汇总和分析。分布式计算把任务分为许多小部分,分给几台或者几百台甚至几千台计算机进行处理,最后将这些计算结果综合起来得到最终的结果。

分布式计算概述

分布式计算的体系结构

分布式计算的原理

分布式文件系统:分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一些系统如AFS(AndrewFileSystem)和Coda(CoherentDistributedFileSystem)甚至使用内置的专用网络来连接存储节点。这类网络不同于传统的局域网或广域网,而是使用高速互连技术(如ATM,光纤通道)连接多个专用存储节点(一般是磁盘阵列)。

NoSQL数据库:NoSQL,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。

云存储技术:云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。

数据清洗是指对“脏”数据进行对应方式的处理,脏在这里意味着数据的质量不够好,会掩盖数据的价值,更会对其后的数据分析带来不同程度的影响。有调查称,一个相关项目的进展,80%的时间都可能会耗费在数据清洗上,数据清洗是一项繁重且令人沮丧的工作,其挑战性不亚于其他的任何企业数据分析工作。

数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的,然后发展到可对数据库进行查询和访问,进而发展到对数据

文档评论(0)

微传科技 + 关注
官方认证
文档贡献者

该用户很懒,什么也没介绍

认证主体唐山市微传科技有限公司
IP属地河北
统一社会信用代码/组织机构代码
91130281MA0DTHX11W

1亿VIP精品文档

相关文档