微课2-2 大数据思维变革.pptx

;;生产资料是人类文明的核心。农业时代生产资料是土地，工业时代生产资料是机器，数字时代生产资料是数据。劳动方式是人类文明的重要表征。渔猎农耕时代形成的是以手工劳动为主要方式的“手工文明”，工业时代发展为以机器劳动为主要方式的“机器文明”，

智能时代则基于数字劳动而不断推动和丰

富着“数字文明”。;“数字文明”折射出以大数据、人工智能等为代表的数字技术对世界和人类的影响，在广度和深度上有了质的飞跃，到了塑造一种人类文明新形态的高度。数字技术正以新理念、新业态、新模式全面融入人类经济、政治、文化、社会、生态文明建设各领域和全过程，给人类生产生活带来广泛而深刻的影响。以数字技术为基座的互联网，促进交流、提高效率，也在重塑制度、催生变革，更影响社会思潮和人类文明进程。这是不可逆转的时代趋势。;大数据是人工智能的基础。“大数据”全在于发现和理解信息内容及信息与信息之间的关系，其精髓是我们分析信息时的三个思维转变：

第一，人们处理的数据从样本数据变成全部数据；

第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；

第三，人们通过对大数据的处理，减少对因果关系的渴求，转而关注相关关系。;很长时间以来，为了让分析变得简单，当面临大量数据时，通常都依赖于采样分析。如今信息技术的条件已经有了非常大的提高，人类可以处理的数据量已经大大地增加，而且未来会越来越多。

当我们可以处理海量数据的时候，采样就没有什么意义了，而人们的方法和思维却没有跟上这种改变。在很多领域，从收集部分数据到收集尽可能多的数据的转变已经发生。如果可能的话，我们会收集所有的数据，即“样本=总体”，这是指我们能对数据进行深度探讨。;谷歌流感趋势预测就是分析了全美几十亿条互联网检索记录。分析整个数据库，而不是对一个小样本进行分析，能够提高微观层面分析的准确性，甚至能够推测出某个特定城市的流感状况。

通过使用所有的数据，我们可以发现如若不然则将会在大量数据中淹没掉的情况。例如，信用卡诈骗是通过观察异??情况来识别的，只有掌握了所有的数据才能做到这一点。在这种情况下，异常值是最有用的信息，你可以把它与正常交易情况进行对比。而且，因为交易是即时的，所以你的数据分析也应该是即时的。;当然，有些时候，我们还是可以使用样本分析法，毕竟我们仍然活在一个资源有限的时代。但是更多时候，利用手中掌握的所有数据成为了最好也是可行的选择。于是，慢慢地，我们会完全抛弃样本分析。;直到今天，我们的数字技术依然建立在精准的基础上。我们假设只要电子数据表格把数据排序，数据库引擎就可以找出和我们检索的内容完全一致的检索记录。这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以我们必须尽可能精准地量化我们的记录。在某些方面，我们已经意识到了差别。随着规模的扩大，对精确度的痴迷将减弱。

针对小数据量和特定事情，追求精确性依然是可行的。但是，在大数据时代，很多时候追求精确度已经变得不可行。大数据纷繁多样，优劣掺杂，我们需要的是掌握大体的发展方向。适当忽略微观层面上的精确度会让我们在宏观层面拥有更好的洞察力。;在越来越多的情况下，使用所有可获取的数据变得更为可能，但为此也要付出一定的代价。数据量的大幅增加会造成结果的不准确，与此同时，一些错误的数据也会混进数据库。然而，重点是我们能够努力避免这些问题。;寻找因果关系是人类长久以来的习惯。相反，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系，这会给我们提供非常新颖且有价值的观点。相关关系也许不能准确地告知我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。在很多时候，寻找数据间的关联并利用这种关联就足够了。

例如，如果数百万条电子医疗记录都显示橙汁和阿司匹林的特定组合可以治疗癌症，那么找出具体的药理机制就没有这种治疗方法本身来得重要。同样，只要我们知道什么时候是买机票的最佳时机，就算不知道机票价格疯狂变动的原因也无所谓了。;不像因果关系，证明相关关系的实验耗资少，费时也少。与之相比，分析相关关系，我们既有数学方法，也有统计学方法，同时，数字工具也能帮我们准确地找出相关关系。

相关关系分析本身意义重大，同时它也为研究因果关系奠定了基础。通过找出可能相关的事物，我们可以在此基础上进行进一步的因果关系分析．如果存在因果关系的话，我们再进一步找出原因。这种便捷的机制通过实验降低了因果分析的成本。我们也可以从相互联系中找到一些重要的变量，这些变量可以用到验证因果关系的实验中去。;例如，Kaggle是一家为所有人提供数据挖掘竞赛平台的公司，举办了关于二手车的质量竞赛。二手车经销商将数据提供出来，参加比赛的统计学家们用这些数据建立一个算法系统来预测经销商拍卖的哪些车有可能出现质量问题。相关关系分析表明，橙色的车有质量