- 1、本文档共11页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
1. 大数据时代的思维变革 1. 大数据时代的思维变革——更多 “更多”——不是随机样本,而是全体数据 当数据处理技术已经发生翻天覆地的变化时,在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了,我们需要的是所有的数据,“样本=总体”。 让数据“发声” 小数据时代的随机采样,最少的数据获得最多的信息 全数据模式,样本=总体 让数据“发声” 利用所有的数据,而不再仅仅依靠一小部分数据。 数据的收集 过去,因为记录、储存和分析数据的工具不够好,我们只能收集少量数据进行分析,这让我们一度很苦恼。 数据的处理工具 为了让分析变得简单,我们会把数据量缩减到最少。这是一种无意识的自省:我们把与数据交流的困难看成是自然的,而没有意识到这只是当时技术条件下的一种人为的限制。 统计学:用尽可能少的数据来证实尽可能重大的发现。 小数据时代的随机采样 在过去,只有教会或者政府才拥有大规模收集和分类数据的能力。 人口普查——一项耗资且费时的事情 三百多年前,一个名叫约翰·格朗特John Graunt的英国缝纫用品商提出了一个很有新意的方法。他采用了一个新方法推算出鼠疫时期伦敦的人口数,这种方法就是后来的统计学。 古罗马在拥有数十万人口的时候每5年一次 美国宪法规定每10年一次 1880年,8年 1890年,预计13年,穿孔卡片用了1年 事实证明,问题的关键是选择样本时的随机性 小数据时代的随机采样 统计学家们证明: 采样分析的精确性随着采样随机性的增加而大幅度提高 与样本数量的增加关系不大。 当样本数量达到了某个值之后,我们从新个体身上得到的信息会越来越少,就如同经济学中的边际效应递减一样。 当收集和分析数据都不容易时,随机采样就成为应对信息采集困难的办法。 人口普查 商品质量监管 …… 小数据时代的随机采样 随机采样取得了巨大的成功,成为现代社会、现代测量领域的主心骨。但是这只是一条捷径,是在不可收集和分析全部数据的情况下的选择,它本身存在许多固有的缺陷。 总统大选(以固定电话为基础的民调) 概率 …… 视频“数字的坏话”(数据出错?) 大数据与乔布斯的癌症治疗 乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此,他支付了高达几十万美元的费用。他得到的不是样本,而是包括整个基因的数据文档。医生按照所有基因按需下药,最终这种方式帮助乔布斯延长了好几年的生命。 全数据模式,样本=总体 在信息处理能力受限的时代,世界需要数据分析,却缺少用来分析所收集数据的工具,因此随机采样应运而生。 采样的目的就是用最少的数据得到最多的信息。 大数据是指不用随机分析法这样的捷径,而采用所有数据的方法。 谷歌流感趋势 “相扑”中的消极比赛 列维特等人 11年 64000场摔跤比赛 全数据模式,样本=总体 大数据是指不用随机分析法这样的捷径,而采用所有数据的方法。 Xoom与跨境汇款异常交易报警 谷歌流感趋势 “相扑”中的消极比赛 列维特等人 11年 64000场摔跤比赛 随机采样使得数字时代之前的大量数据分析变得可能。 人与人之间的互动 艾伯特-拉斯洛·巴拉巴西等人 四个月所有移动通信记录 无线运营商:为全美1/5人口 百万人 结果:小世界网络?? 谁能想象一个在关系网内有着众多好友的人的重要性还不如一个只是与很多关系网外的人有联系的人呢? “大数据”全在于发现和理解信息内容及信息与信息之间的关系,然而直到最近,我们对此似乎还是难以把握。IBM的资深“大数据”专家杰夫·乔纳斯(Jeff Jonas)提出要让数据“说话”。从某种层面上来说,这听起来很平常。人们使用数据已经有相当长一段时间了,无论是日常进行的大量非正式观察,还是过去几个世纪里在专业层面上用高级算法进行的量化研究,都与数据有关。 在数字化时代,数据处理变得更加容易、更加快速,人们能够在瞬间处理成千上万的数据。但当我们谈论能“说话”的数据时,我们指的远远不止这些。 实际上,大数据与三个重大的思维转变有关,这三个转变是相互联系和相互作用的。 ●首先,要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。 ●其次,我们乐于接受数据的纷繁复杂,而不再追求精确性。 ●最后,我们的思想发生了转变,不再探求难以捉摸的因果关系,转而关注事物的相关关系。 * 事实上,我们形成了一种习惯,那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。为了理解大数据时代的转变意味着什么,我们需要首先回顾一下过去。 * 穿孔卡片与美国人口普查 美国在1880年进行的人口普查,耗时8年才完成数据汇总。因此,他们获得的很多数据都是过时的。1890年进行的人口普查,预计要花费13年的时间来汇总数据。即使不考虑这种情况违反了宪法规定,它
文档评论(0)