- 1、本文档共1293页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
大数据导论第一章第1章大数据时代概念.pptx第2章大数据采集.pptx第3章大数据预处理.pptx第4章大数据处理系统.pptx第5章大数据文件系统HDFS.pptx第6章NOSQL数据库HBASE.pptx第7章数据仓库Hive.pptx第8章大数据批处理HadoopMapReduce.pptx第9章大数据实时处理SPARK.pptx第10章大数据实时流计算SparkStreaming.pptx第11章分布式图计算框架SPARKGRAPHX.pptx第12章SPARKSQL.pptx第13章大数据挖掘概述.pptx第14章SPARKMLLIB.pptx第15章大数据可视化.pptx第16章PYTHON数据可视化.pptx第17章大数据的功能应用场景.pptx
CONTENTS目录PART01什么是大数据PART03大数据的产生与作用PART04大数据时代的新理念PART05大数据技术概述PART06大数据应用实例PART02从IT时代到大数据时代PART07作业
PART01什么是大数据大数据本身是一个抽象的概念。一般意义上来讲,大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。
什么是大数据目前,业界对大数据还没有一个统一的定义,但是大家都普遍认为,大数据具备Volume、Velocity、Variety和Value四个特征,简称为“4V”,即数据体量巨大、产生速度快、数据类型繁多和价值密度低。下面对每个特征分别作简要描述。BigDataVolumeVelocityVarietyValue数据体量巨大PB级→EB级→ZB级速度要求快数据输入输出速度数据类型多样文本|图像|视频|音频价值密度低商业价值高
近年来,信息技术迅猛发展,尤其是是以互联网、物联网、信息获取技术、社交网络等为代表的技术发展日新月异,促使手机、平板电脑、PC等各式各样的信息传感器随处可见,虚拟网络快速发展,现实世界快速虚拟化,数据的来源及其数量正以前所未有的速度增长。PART02从IT时代到大数据时代
从IT时代到大数据时代报告显示,2012年全球数据总量达到2.8ZB(相当于2800亿GB),预计到2020年全球数据总量将会超出预期,达到40ZB(相当于40000亿GB)。若以现有的蓝光光盘为计量标准,那么40ZB的数据全部存入蓝光光盘,所需要的光盘总重量将达到424艘尼米兹号航母的总重量。从现在到2020年,基本上每两年数据量就会翻一番。而这些数据约80%是非结构化或半结构化类型的。因此,数据的爆炸性增长态势以及其数据构成特点使得人们进入了“大数据”时代
PART03大数据的产生与作用大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。
大数据的产生人类历史上从未有哪个时代和今天一样产生如此海量的数据。数据的产生已经完全不受时间、地点的限制。从开始采用数据库作为数据管理的主要方式开始,人类社会的数据产生方式大致经历了3个阶段,而正是数据产生方式的巨大变化才最终导致大数据的产生。01运营式系统阶段03感知式系统阶段02用户原创内容阶段3个阶段
大数据的产生01运营式系统阶段:数据库的出现使得数据管理的复杂度大大降低,实际中数据库大多为运营系统所采用,作为运营系统的数据管理子系统。人类社会数据量第一次大的飞跃是建立在运营式系统开始广泛使用数据库开始的。这个阶段最主要特点是数据往往伴随着一定的运营活动而产生并记录在数据库中的,这种数据的产生方式是被动的。
大数据的产生02用户原创内容阶段:互联网的诞生促使人类社会数据量出现第二次大的飞跃。但是真正的数据爆发产生于Web2.0时代,而Web2.0的最重要标志就是用户原创内容。这类数据近几年一直呈现爆炸性的增长,主要有两个方面的原因。首先是以博客、微博、和微信为代表的新型社交网络的出现和快速发展,使得用户产生数据的意愿更加强烈。其次就是以智能手机、平板电脑为代表的新型移动设备的出现,这些易携带、全天候接入网络的移动设备使得人们在网上发表自己意见的途径更为便捷。这个阶段数据的产生方式是主动的。
大数据的产生03感知式系统阶段:人类社会数据量第三次大的飞跃最终导致了大数据的产生,今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。随着技术的发展,人们已经有能力制造极其微小的带有处理功能的传感器,并开始将这些设备广泛的布置于社会的各个角落,通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据,这种数据的产生方式是自动的。
大数据的产生数据产生经历了被动、主动和
您可能关注的文档
- 消费者行为学(第2版)全套PPT课件.ppt
- 电子政务导论第3版_全套PPT课件.ppt
- Web前端开发任务教程(HTML+CSS+JavaScript+jQuery)全套PPT课件.ppt
- 电子商务案例分析(微课版)全套PPT课件.pptx
- 微信小程序全栈开发技术与实战(微课版)全套PPT课件.pptx
- 财经基本技能与出纳实务(第2版)全套PPT课件.ppt
- 基础会计与实务(第3版)全套PPT课件.ppt
- 中文版Flash CC从入门到精通实用教程(微课版)全套PPT课件.ppt
- 路由交换技术与实践_全套PPT课件.pptx
- 电气控制与PLC应用(第4版)全套PPT课件.ppt
- 英语人教PEP版八年级(上册)Unit4+writing+写作.pptx
- 人美版美术四年级(上册)8 笔的世界 课件 (1).pptx
- 人美版美术七年级(上册)龙的制作.pptx
- 英语人教PEP版六年级(上册)Unit 2 第一课时.pptx
- 数学苏教版三年级(上册)3.3 长方形和正方形周长的计算 苏教版(共12张PPT).pptx
- 音乐人教版八年级(上册)青春舞曲 课件2.pptx
- 音乐人教版四年级(上册) 第一单元 音乐知识 附点四分音符|人教版.pptx
- 英语人教PEP版四年级(上册)Unit 6 Part B let's learn 1.pptx
- 道德与法治人教版二年级(上册)课件-3.11大家排好队部编版(共18张PPT).pptx
- 人美版美术七年级(上册)《黄山天下奇》课件1.pptx
文档评论(0)