(论大数据理论的基本原理及其价值创造.docVIP

论大数据理论的基本原理及其价值创造 华南师范大学 陈俊欢 1. 步入大数据时代 如今，我们已经进入了一个大数据的时代。Facebook在2012年平均每个月有300亿条内容被创建，每天处理的数据量多达500TB（1TB=1000GB）。Facebook已存1400亿张图片，今年将增700亿张YouTube公布数据显示，目前用户每分钟上传的视频长度为72小时（1B=1000TB）根据IDC(国际数据公司)的监测统计，2011年全球数据总量已经达到1.8ZB(1ZB等于1万亿GB)，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍。 大数据集合形式所有数据，其大小或复杂性使得无法通过常用技术以合理的成本并在可接受的时限内对其进行捕获、管理和处理。 美国国会图书馆美国国会图书馆 3. 大数据理论的本质依据 自从人类诞生之始，我们就不停地探索着世界的运行规律，随着我们探索的越多，我们所了解的也越多。“知道更多”可以说是我们人类存在的一个终极追求，千万年来我们无时无刻不做着这件事情。这时或许有人会反驳说，我们除了知道结果还应该知道过程，或者说是还应该知道他们之间的一种关系，这并没有错，但事实上我们要知道过程的原因也只是为了以后能更加便捷地知道更多的 结果。 毫无疑问，这个世界的运行总是遵循着某一规律的，即自然之规律。所谓规律，其实可以分为三种。一者是恒常规律，如日出日落，生老病死，绝无异常；二者是混沌规律，凡事不可捉摸，无法确定；三者即为浮动规律，有迹可循却又无法准确把握。 实际当中，恒常规律和混沌规律都是极少出现的，那么则可以说无论是在我们的生活领域还是经济领域上最常会出现的一个规律就是浮动规律。事实上这一点几乎所有人都知道，也都隐含于每个人的意识之中。那么，这样的一条规律或者说这样的一种意识又会对我们造成了怎样的影响呢？ 让我们先来看看我们现在主流的方法是如何来认知我们所在世界的规律的。通常我们会遇到某一个问题，比方说公司的市场份额下降了，然后我们马上会找出其内在的原因，收集数据样本作出分析，接着就会制订出一系列的指导方案，再去执行，最后再来印证实施的情况是否符合原假设，如果符合则代表我们的认知是正确的，反之如果不符合则又要从新构造模型，建立假设。 诚然，在数据量小的时候，这种精确性的因果分析研究是唯一可行的方法，因为上文已经提到我们这个世界的运行规律本来就是浮动性的，如果分析过程再不要求精准，那么最终的结果更是相差甚远。然而事实上，这种基于有限样本的因果关系分析只是在数据量较小时的一种无奈之举。不仅操作过程非常麻烦，而且推测结果的有效性也往往难以得到保证。 然而，如果我们拥有了足够的海量的数据，情况就会变得完全不同了。无论一件事情它有着多么复杂或隐秘的内在规律，但是只要这件事情一旦发生了，它就一定会有所表现，也就是说它会表现出这件事情所拥有的特征。就比如使人感到难过的原因有千种万种，错综复杂，或许我们根本就无法探至。但是不论如何，只要一个人感到难过了，他就一定会表现出难过所拥有的特征，例如落泪，一言不发，甚至是独自喝酒.......又比如说这个月浅绿色的衣服突然变得好卖了，这件事情的原因可能非常复杂，但是无论其成因到底是怎样，我们只需要知道浅绿色衣服的销量增加了，接着我们就采购更多的浅绿色衣服就行了。当数据量小的时候，我们总会是寻求因果关系分析，想知道产生这些情况的原因到底是什么，但事实上这可能很难，甚至我们根本连这些现象都未必能发现的了。但是借助于大数据的力量，我们能从无数的例子当中得出：如果一个人落泪了或者是流露出闷闷不乐表情，那么他很有可能是感到难过了。并且浅绿色的衣服销售量猛增，我们也是通过统计全部的数据才得知的。所以大数据理论真正的魅力就是在于它把所有的理论分析全部都屏蔽掉了，我们无需再从构建假设入手，分析，计划，实施，最后印证这样一步步地推演过来，它直接就能够把最终的结果告诉你。 实际上大数据理论的核心依据就是表现理论。在1884年，心理学家威廉·詹姆斯 4.大数据理论思想 4.1数据量更大（核心思想：数据的量变到质变） 上文已经论及大数据理论的依据就在于表现理论，当数据总量较小时（样本模式），样本的数据不足以准确完整地反映该事物，因此这样的样本不能满足表现理论，而只能用来推演和预测。然而当数据量的规模足够大或者是在全数据模式下，当它超过了表现理论所需的临界值，我们就能够直接用大数据来描述该事物了。 4.2数据形式更杂（核心思想：混