- 1、本文档共91页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据-上海财经大学--国际工商管理学院
* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 1. 因果关系与相关关系 因果关系是指一个事件是另一个事件的结果 相关关系是指两个事件的发生存在某个规律 与通过逻辑推理研究因果关系不同,大数据研究通过统计性的有哪些信誉好的足球投注网站、比较、聚类、分析和归纳,寻找事件(或数据)之间的相关性 一般来说,统计学无法检验逻辑上的因果关系 也许正因为统计方法不致力于寻找真正的原因, 才促进数据挖掘和大数据技术在商业领域广泛应用 变革三 — 更好: 不是因果关系, 而是相关关系 2. 相关关系帮助捕捉现在和预测未来 如果A和B经常一起发生,则只需注意到B发生了, 就可以预测A也发生了故障经常是慢慢出现的,通过收集所有数据,可预先捕捉到事物要出故障的信号。如将发动机的嗡嗡声、引擎过热等异常情况与正常情况对比,就能知道什么地方将出毛病,及时更换或修复过去需先有想法,然后收集数据来测试想法的可行性,现在可以对大数据进行相关关系分析知道机票是否会飞涨、哪些词条最能显示流感的传播 3. 大数据改变人类探索世界的方法 越来越多的事物不断地数据化,将拓展人类的视野,使得人们可从大量的数据中,发现隐藏在其中的自然规律、社会规律和经济规律 当网页变成数据,谷歌具备了令人大跌眼球的全文有哪些信誉好的足球投注网站能力,在几个毫秒之内,就能让人们检索世界上几乎所有的网页 当方位变成数据,每个人都能借助GPS 快速到达目的地 当情绪变成数据,人们甚至根据大家快乐与否判断股市的涨跌 上述这些不同的数据可归结为几类相似的数学模型,从而使得“数据科学”(应用数据学习知识的学科)成为一门具备普遍适用的学科 生物信息学、计算社会学、天体信息学、电子工程、金融学、经济学等学科,都依赖数据科学的发展 大数据的处理 海量数据的处理对于当前的技术来说是一种极大的挑战,目前大数据的主要处理形式如下: 静态数据的批量处理:数据体量巨大、精确度高、价值密度低;挖掘合适模式、得出具体含义、制定明智决策、…;用于社交网络、电子商务、有哪些信誉好的足球投注网站引擎等 在线数据的实时流式处理:日志数据、传感器数据、Web数据等;数据连续不断、来源众多、格式复杂等; 流式挖掘、实时分析、…;应用于智能交通、环境监控、金融银行等,还有在线数据的交互处理、图数据处理 大数据处理的几种主要方式 是批量数据处理的一个常用编程模型 源于函数式语言的两个高阶函数:map和reduce map(f1, [x1, …, xn]) = [f1(x1), …, f1(xn)] f1作用于n个变元的计算可以并行 reduce(f2, [y1, …, yn]) = f2(… f2(f2(y1, y2), y3), …, yn) 若二元函数f2是有交换律和结合率的运算,则f2作用于n个变元的计算也可以适当并行 两者的复合: reduce(f2, map(f1, [x1, …, xn])) MapReduce源于此,但更加一般 MapReduce编程模型 MapReduce编程模型 MapReduce是一种比较专用的并行编程模型,面向大数据集上的可并行化的问题 Map完成过滤或分类,例如,它把数据集中所有的人按姓氏分成若干队列,每个姓氏一个队列; Reduce完成概括总结操作,例如,计算各姓氏队列中的人数,产生按姓氏的人口比例 MapReduce可以在并行计算机、计算机集群和计算机网格上实现 MapReduce编程模型 计算过程如图所示 程序员只需编写Map和Reduce函数 1. Map任务 执行Map函数的多个任务并行执行每个Map任务把文件块转换成“键-值”(key-value)对序列 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) MapReduce编程模型 2. 按键组合 其处理方式与两个函数无关 把“键-值”对序列组成“键-值表”对序列 把各“键-值表”对分发给Reduce任务按键组合由主控程序完成 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) MapReduce编程模型 3. Reduce任务 执行Reduce函数的多个任务并行执行 每个Reduce任务把“键-值表”对中的值以某种方式组合,转换成“键-值”对输出 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值
文档评论(0)