大数据-上海财经大学--国际工商管理学院.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 1. 因果关系与相关关系 因果关系是指一个事件是另一个事件的结果 相关关系是指两个事件的发生存在某个规律 与通过逻辑推理研究因果关系不同，大数据研究通过统计性的有哪些信誉好的足球投注网站、比较、聚类、分析和归纳，寻找事件（或数据）之间的相关性 一般来说，统计学无法检验逻辑上的因果关系 也许正因为统计方法不致力于寻找真正的原因, 才促进数据挖掘和大数据技术在商业领域广泛应用 变革三 — 更好: 不是因果关系, 而是相关关系 2. 相关关系帮助捕捉现在和预测未来 如果A和B经常一起发生，则只需注意到B发生了, 就可以预测A也发生了故障经常是慢慢出现的，通过收集所有数据，可预先捕捉到事物要出故障的信号。如将发动机的嗡嗡声、引擎过热等异常情况与正常情况对比，就能知道什么地方将出毛病，及时更换或修复过去需先有想法，然后收集数据来测试想法的可行性，现在可以对大数据进行相关关系分析知道机票是否会飞涨、哪些词条最能显示流感的传播 3. 大数据改变人类探索世界的方法 越来越多的事物不断地数据化，将拓展人类的视野，使得人们可从大量的数据中，发现隐藏在其中的自然规律、社会规律和经济规律 当网页变成数据，谷歌具备了令人大跌眼球的全文有哪些信誉好的足球投注网站能力，在几个毫秒之内，就能让人们检索世界上几乎所有的网页 当方位变成数据，每个人都能借助GPS 快速到达目的地 当情绪变成数据，人们甚至根据大家快乐与否判断股市的涨跌 上述这些不同的数据可归结为几类相似的数学模型，从而使得“数据科学”（应用数据学习知识的学科）成为一门具备普遍适用的学科 生物信息学、计算社会学、天体信息学、电子工程、金融学、经济学等学科，都依赖数据科学的发展 大数据的处理 海量数据的处理对于当前的技术来说是一种极大的挑战，目前大数据的主要处理形式如下： 静态数据的批量处理:数据体量巨大、精确度高、价值密度低；挖掘合适模式、得出具体含义、制定明智决策、…；用于社交网络、电子商务、有哪些信誉好的足球投注网站引擎等 在线数据的实时流式处理:日志数据、传感器数据、Web数据等；数据连续不断、来源众多、格式复杂等; 流式挖掘、实时分析、…；应用于智能交通、环境监控、金融银行等,还有在线数据的交互处理、图数据处理 大数据处理的几种主要方式 是批量数据处理的一个常用编程模型 源于函数式语言的两个高阶函数：map和reduce map(f1, [x1, …, xn]) = [f1(x1), …, f1(xn)] f1作用于n个变元的计算可以并行 reduce(f2, [y1, …, yn]) = f2(… f2(f2(y1, y2), y3), …, yn) 若二元函数f2是有交换律和结合率的运算，则f2作用于n个变元的计算也可以适当并行 两者的复合： reduce(f2, map(f1, [x1, …, xn])) MapReduce源于此，但更加一般 MapReduce编程模型 MapReduce编程模型 MapReduce是一种比较专用的并行编程模型，面向大数据集上的可并行化的问题 Map完成过滤或分类，例如，它把数据集中所有的人按姓氏分成若干队列，每个姓氏一个队列； Reduce完成概括总结操作，例如，计算各姓氏队列中的人数，产生按姓氏的人口比例 MapReduce可以在并行计算机、计算机集群和计算机网格上实现 MapReduce编程模型 计算过程如图所示 程序员只需编写Map和Reduce函数 1. Map任务 执行Map函数的多个任务并行执行每个Map任务把文件块转换成“键-值”(key-value)对序列 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) MapReduce编程模型 2. 按键组合 其处理方式与两个函数无关 把“键-值”对序列组成“键-值表”对序列 把各“键-值表”对分发给Reduce任务按键组合由主控程序完成 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值 (k, [v, w, …]) MapReduce编程模型 3. Reduce任务 执行Reduce函数的多个任务并行执行 每个Reduce任务把“键-值表”对中的值以某种方式组合，转换成“键-值”对输出 Map任务 Reduce任务 按键分组 输 出 文 件 输入 文件块 键-值对 (k, v) 键及所有值