- 1、本文档共3页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
本文格式为Word版,下载可任意编辑
大数据分析及处理方法Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样
的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中,其主要特点和挑战是并发数高,因为同
时有可能会有成千上万的用户来进行访问和操作,比方火车票售票网
大数据的处理站和淘宝,它们并发的访问量在峰值时到达上百万,所以需要在采集
周涛博士说:大数据处理数据时代理念的三大转变:要全体不要抽端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均
样,要效率不要肯定精确,要相关不要因果。衡和分片确实是需要深入的思索和设计。
具体的大数据处理方法其实有许多,但是依据长时间的实践,笔者导入/预处理
总结了一个基本的大数据处理流程,并且这个流程应当能够对大家理顺虽然采集端本身会有许多数据库,但是假如要对这些海量数据进
大数据的处理有所关心。整个处理流程可以概括为四步,分别是采集、行有效的分析,还是应当将这些来自前端的数据导入到一个集中的大
导入和预处理、统计和分析,以及挖掘。型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一
采集些简洁的清洗和预处理工作。也有一些用户会在导入时使用来自
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计
者传感器形式等)的数据,并且用户可以通过这些数据库来进行简洁的算需求。
查询和处理工作。比方,电商会使用传统的关系型数据库MySQL和
第1页共3页
本文格式为Word版,下载可任意编辑
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的
导入量常常会到达百兆,甚至千兆级别。NaiveBayes,主要使用的工具有Hadoop的Mahout等。
统计/分析该过程的特点和挑战主要是用于挖掘的算法很冗杂,并且计算涉
统计与分析主要利用分布式数据库,或者分布式计算集群来对存储及的`数据量和计算量都很大,还有,常用数据挖掘算法都以单线程为
于其内的海量数据进行一般的分析和分类汇总等,以满足大多数常见的主。
分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle大数据分析的五个基本方面
的Exadata,以及基于MySQL的列式存储Infobright等,而一些批处1.AnalyticVisualizations(可视化分析)
理,或者基于半结构化数据的需求可以使用Hadoop。不管是对数据分析专家还是一般用户,数据可视化是数据分析工
统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让
系统资源,特殊是I/O会有极大的占用。观众听到结果。
挖掘
您可能关注的文档
- 大数据技术和分析方法 .pdf
- 大数据技术下的客户关系管理 .pdf
- 大数据平台在健康管理领域的应用讨论 .pdf
- 大数据如何改善用户体验 .pdf
- 大数据培训心得体会 .pdf
- 大数据在航海与海洋研究中的应用与探索 .pdf
- 大数据在生活中的实际应用 .pdf
- 大数据在旅游业中的应用和创新 .pdf
- 大数据在市场营销中的应用与伦理考量 .pdf
- 大数据分析营销通过数据分析调整产品和市场策略 .pdf
- 湖南省长沙市明德天心中学2023-2024学年七年级上学期第一次月考英语试题-A4.docx
- Unit+4+Body+language+Reading+and+Thinking+公开课课件-2024-2025学年高中英语人教版(2019)选择性必修第一册.pptx
- 3.3能量守恒定律课件.pptx
- +Unit+7+Reading+The+Clubs+Fair+课件+2024-2025学年沪教版(2024)七年级英语上册.pptx
- Unit+5+What+does+he+do写作突破(课件)-2024-2025学年六年级英语上册写作突破专项训练(人教PEP版).pptx
- Unit 5 语法现在完成时课件 2021-2022学年沪教牛津版英语八年级上册.pptx
- 2023年中考英语复习-完形填空—复现课件.pptx
- 2024年银行监管及中央银行服务项目投资申请报告代可行性研究报告.docx
- 2024年数字仿真计算机项目投资申请报告代可行性研究报告.docx
- 2024年2-氯-5-甲基吡啶项目资金筹措计划书代可行性研究报告.docx
最近下载
- 充电桩施工方案.doc
- 《思路要清晰》教学反思.doc
- 新教科版高中信息技术必修一2.2《做出判断的分支》说课稿.docx
- 厂房租赁水电费合同6篇.docx
- 个人所得税课件ppt课件.ppt
- 钳工实操试卷(共44套).pdf
- 广东开放大学 期末复习参考资料答案 10632k2-现代企业管理.docx
- 成长英语教师用书提高篇(教学课件)Unit 4 Individual Participation,Collective Intelligence.pptx VIP
- Sysmex CS-5100全自动血凝分析仪标准操作程序.docx VIP
- 弘扬教育家精神教师感悟15篇必威体育精装版.docx VIP
文档评论(0)