大数据简介,应用及技术简述.pptVIP

大数据技术与应用什么是大数据1Part1什么是大数据数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176BytesPart1什么是大数据大数据定义：所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点:Volume数据体量Velocity数据速度Variety数据多样Veracity数据真实4V特征Part1什么是大数据大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据的特征2Part2大数据的特征BigData大数据Volume非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍数据量体Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）数据价值Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义数据多样Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效数据速度Part2大数据的4V特征—Volume一般情况下，大数据是以PB、EB、ZB为单位进行计量的1Bity1ZB如同全世界海滩上的沙子数量总和1KB1YB相当于7000位人类体内的微细胞总和1MB5EB相当于至今全世界人类所讲过的话语1GB1PB相当于50%的全美学术研究图书馆藏书信息内容1TB单击此处添加正文，文字是您思想的提炼，请尽量言简意赅地阐述观点。1PB单击此处添加正文，文字是您思想的提炼，请尽量言简意赅地阐述观点。1EB单击此处添加正文，文字是您思想的提炼，请尽量言简意赅地阐述观点。1ZB单击此处添加正文，文字是您思想的提炼，请尽量言简意赅地阐述观点。1YBPart2大数据的4V特征—Velocity大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快Part2大数据的4V特征—Variety行业/企业内数据互联网数据物联网数据大数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。Part2大数据的4V特征—Value挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息价值密度低(Value)价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。单击添加标题大数据技术简介及现况Part3大数据技术简介数据采集数据预处理数据存储数据分析挖掘数据可视化实时处理Spar