大数据思维完整版.docx

??

?

??

大数据思维

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

传统产业、各行各业，都面临在大数据和移动互联网时代如何彻底转型和再造问题。促进产业间的跨界、融合和颠覆，需要的正是大数据思维。

◎赵国栋|文

物联网本质上是器物层面的技术，从大数据的视角而言，是采集数据的终端。云计算本质上是IT服务交付手段的变革，并由此引发一系列技术基础架构的更新。物联网和云计算都是信息技术发展的一定阶段的自然延伸，依然属于信息技术范畴。而大数据可以看成是数据积累到一定规模后，引发的质变。大数据超越信息技术，使人们重新界定国家竞争的主战场，重新认识科学研究的新范式，重新审视产业变迁的驱动因素，重新理解投资的决策依据，重新思考公司的战略和组织。

一言以蔽之，大数据是保障国家安全和推动经济发展的恒久主题。

2013年，美国人斯诺登给世人揭开了“数据战争”的冰山一角。人们把战略核潜艇称为“国之重器”。的确，其神出鬼没的毁灭力量令人望而生畏。但是，如果导弹赖以导航的坐标数据被人修改或者提前探知了呢？如果不具备保护这些核心数据的能力，恐怕就会应了那句老话，搬起石头砸自己的脚。

参与“棱镜计划”的公司包括谷歌、雅虎、Facebook、微软、苹果、思科、Oracle、IBM等科技巨头。可以看到，大数据时代，IT产业强大与否已经成为决定一个大国变成强国的最为关键的因素。没有数据安全，就不会有国家安全，没有强大的IT产业，就难以成为一流国家。

保护国家层面的数据安全，恰恰是以数据开放为基础的。开放一种态度，更是一项能力。一些重大基础数据开放，可以构成社会的数据基础，按照大数据定律之一“数据之和的价值远远大于数据价值的和”来推断，来自不同领域的数据聚合在一起，开放给社会，将会产生类似核聚变一样的价值发现效应。

现在，电子商务、社交网络、基础通信、国家各部委的数据，具备聚合的效应和产生核聚变价值的基础。近日，国家统计局联合百度、阿里巴巴，做一些探索性的尝试，这是非常好的开端。与此同时，“数据割据”现象普遍存在。譬如气象观测数据，这类数据对于研究大气变化、气候演变具备非常重要的科学意义。按照规定气象所之类的研究机构是可以获得这些数据的，但是在繁琐的审批流程走完后，有些和实效性相关的数据，也就作废了。

再如住房和城乡建设部的购房数据，这类数据对于防止腐败、研究经济走势、人口迁移，甚至制定国家决策都具有至关重要的作用。这类数据如果开放给社会各界，一定会繁荣多学科、跨领域交叉研究，从而推动国家在各个方面的进步。

开放的数据促使信息产业繁荣，才能诞生真正的数据驱动的企业，这些企业反过来在数据领域的技术进步，才是确保国家数据安全的长治久安之策。很难想象，如果没有谷歌、微软、facebook这样的公司，单凭美国政府一己之力，很难实施如此庞大的“棱镜计划”。所以，制定国家大数据战略，应当把消除部门数据割据，建立公开、透明、共享的数据公共平台作为长期的战略目标。

助推科学发展

从某种程度上说，近几年计算机领域的发展是谷歌、亚马逊等一线的互联网公司推动的。虽然学术界在算法方面具备无可替代的优势，但是在算法工程应用领域，由于缺乏实践场景而裹足不前。学术界在大数据时代有了广阔的舞台。鄂维南院士呼吁学术界像谷歌公司学习，正是看到了学术界不能再走一条从文献到文献的封闭路子。

在大数据时代，许多学科表面上看来研究的方向大不相同，但是从数据的视角来看，其实是相通的。比方说自然语言处理和生物大分子模型里都用到隐式马氏过程和动态规划方法。其最根本的原因是它们处理的都是一维的随机信号。再如用于图像处理的算法和用于压缩感知的算法有着许多共同之处。

吴军博士在《数学之美》书中，讲了许多这方面的故事。以自然语言的机器翻译研究为例。最初科学家们都试图为计算机建立一系列的语法规则，按照语法、词义，来翻译成另外一门语言。这个思路非常直观，因为人们就是如此理解学习语言的。但是在实践中却困难重重，基于语法规则的翻译器，几乎就没有商用过。而当科学家们改弦易张，计算每一个词，每一句话的“合理概率”时，复杂的机器翻译就简化成了文字的概率计算。通俗的说就是：“如果大多数人都这么说，就认为是对的！”

这种思想在越来越多的领域得到应用，宏观尺度研究的天体信息学、社会行为学，微观尺度上分析人类的基金组，追踪物理学家们梦寐以求的“上帝粒子”。

随着社会的数字化程度逐步加深，越来多的学科在数据层面趋于一致，可以采用相似的思想来进行统一的研究。而这恰恰是数学家的特长。因此数据科学在数学和实际应用之间建立起了一个直接的桥梁。而这些实际应用正是来自于像信息服务等现代产业中最为活跃的一部分。这对数学来说，实在是一个千载难逢的机会。

“大数据+”概念

最近和大数据产业联盟几位专家、总裁一起讨论，大家