迎接大数据时代.docxVIP

?

?

迎接大数据时代

?

?

摘要：继云计算、云平台之后，大数据又悄悄成为时下热词，“今天你云了吗？”的问候语，也变成了“今天你大数据了吗？”什么是大数据？大数据就是数据多、数据大？大数据与以往的数据（我们不妨先称之为“小数据”）有什么区别？以上问题值得我们深思与探究。

关键词：大数据；数据应用；结合教育

“大数据”一词早在20世纪40年代就已出现，百度、互联网周刊、IBM，许多机构都为大数据给出了定义，在《大数据时代》一书中，作者将数据、技术与思维并列为三大角色，我认为大数据正是这三者的统一，即数据本身，数据处理技术，数据应用思维。下面我们就从数据、技术、思维三个方面看看大数据与小数据有什么不同，来帮助大家更好地理解大数据。

一、大数据时代来了

数据本身我们并不陌生，日常生活中充满了数据，人类对数据的使用早在上古时代就已开始，人们通过对日、月位置及四季的变化来制订历法，就是一个完整的数据采集、分析与应用的过程。小数据时代我们对数据分析更多是定性也定量的，大数据时代对数据的定义与之相比还有差异，一是数据量的加大。大数据是利用所有数据，而不依赖于随机样本，这种全数据的模式，成功地避开了样本数量与样本选择对结果的不良影响；二是数据的生命周期更长了。当我们处理一条信息时，一定会关注信息的时效性，比如当飞机成功降落后，在一个较短的时间内，对于我们来说相关的信息被认为已经失去意义。然而在大数据时代，数据的生命周期更长了，我们可以通过对一名乘客以往的飞行记录来分析预测他下次飞行的时间及目的，从而制定相应的推销计划；三是非结构化数据占据了更多的位置。小数据时代数据分析的对象更多是线性的，结构化的数据。大数据时代非结构化数据日益增加，数据格式更是纷繁芜杂，文字的、图片的、各类报表、音频的、视频的，数据的数量、种类、结构都发生了巨大的变化。

这里的技术是指数据分析技术，小数据时代我们分析更多的是结构化数据，追求数据的准确性。在大数据时代，结构化的数据只能占到5%甚至更少，我们需要面对分析的更多是非结构化的数据，数据量的增大，非结构化数据的增加，数据格式的不统一，让我们不得不接受数据的混杂和不精确。比如我们在有哪些信誉好的足球投注网站引擎中输入“三通”，我们得到的结果可能是海峡两岸三通，可能是教育“三通两平台”，还有可能是水暖产品。当然实际情况要复杂的多，越是非结构化的数据，其分析处理难度就越大，对技术的要求就越高，我们尽可能地为文章加注关键词也是降低处理难度的一种方式。这种数据的不准确性并不影响我们对大数据的使用，大数据的核心是预测，这种预测是用概率来说话的，有时我们不得不接受一个问题不是只有唯一答案的结果。

大数据时代对数据的分析更多是相关关系，而不是因果关系。在小数据时代我们对数据的分析，是希望通过对数据的分析找出不同变量间的因果关系，从而达到对生产、生活的指导。而大数据时代并不纠结于数据的因果，而更多的关注“是什么”，至于“为什么”的问题放在了次要的位置，比如通过对数据的分析，我们看到每天上网时长在半小时到1小时之间的学生，平均成绩要更高，那我们要做的首先就是创造相应的条件，其次才会去深入研究其中的因果关系。

大数据时代，数据量及数据的来源不断增加，数据分析技术日益更新，然而拥抱大数据时代还要从思想认识上更准确的理解大数据，IT（InformationTechnology）既要有信息，也要有技术，没有信息，技术就是无源之水；没有技术，信息只是毫无意义的“0、1”堆积。在大数据时代，同样重要的还有思维，首先要认识数据的价值，然后采用合理的分析方法得出结论，最终将其转化为价值。数据不应只是摆在政府官员桌上的报告，也不应只是年终总结的种种图表，数据应成为可利用，可创造价值的资源，数据采集、数据分析、数据应用三者应形成一个良好的闭环，形成政府支持、服务社会、产业反哺的数据产业良性發展。

大数据时代已经来临，大数据带给我们的是全新的数据分析与使用方式，是全新的思维与观念，是巨大的机遇与挑战，面对大数据带来的变革，有清晰的认识与明确的规划是我们的当务之急。

二、中国的数据建设现状

在中国，早在2002年，国家“四大基础数据库”的概念就被提出，即人口基础信息库、法人单位基础信息库、自然资源和空间地理基础信息库、宏观经济数据库（见《国家信息化领导小组关于我国电子政务建设指导意见》）。虽然《意见》中将“四大基础数据库”作为国家电子政务建设的重要组成部分提出，但其具体的技术规范和实现方法未能明确，“四大基础数据库”的建设现状并不令人乐观。

中国数据产业大都还停留在数据采集与交易的初级形态，与国外相比还存在数据量小，尤其是公共数据量小；数据分析、使用手段简单，数据增值不足；立法与规范不足，数据滥用等问题。

十二届全国人大三次会议上，李克强总理在政府工作报告中首次提