大数据时代的互联网思维大数时代的互联网思维大数据时代的互联网思维大数据时代的互联网思维.doc

大数据时代的互联网思维 2014-11-15 15:54| 发布者: xsmile| 查看: 34| 评论: 0|来自: 四川经济网 摘要: 　　2009年联合国制定了数据脉动计划，2010年英国发起了数据权运动、2012年美国实施了大数据战略，最近新加坡等提出大数据治国理念， 大数据时代的序幕由此渐渐拉开。今年7月25日，国务院总理李克强在听取浪潮云计算 ... 　　2009年联合国制定了“数据脉动”计划，2010年英国发起了“数据权”运动、2012年美国实施了“大数据”战略，最近新加坡等提出“大数据治国”理念， “大数据”时代的序幕由此渐渐拉开。今年7月25日，国务院总理李克强在听取浪潮云计算、大数据产业发展汇报后指出，信息化正在全球快速发展，云计算、大数据是一个大潮流。作为继物联网、数字城市、智慧城市之后的又一个流行词汇, “大数据”的究竟是什么?大数据时代下应树立怎样的思维?大数据对国家治理现代化和反腐倡廉有什么作用? 一、大数据时代正悄然来临 　　今年全国两会时，“大数据” (Big data)第一次出现在政府工作报告中，这表明我国对大数据重要性的认识上升到了国家层面。信息产业发达国家，如美、英、德、日等此前已将大数据作为国家核心竞争力提升为了国家战略。数字主权将是继边防、海防、空防之后，又一个大国博弈的空间。 　　(一)大数据的定义和特征 　　大数据并非现在才出现。中国东汉时期人口已达6千多万，这显然是一个大数据，但不是今天讨论的大数据。维基百科对大数据的定义为：“大数据意指一个超大、难以用现有常规的数据库管理技术和工具处理的数据集。”IDC(互联网数据中心)报告对大数据的定义为：“大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值。”大数据研究的目的是将数据转化为知识，探索数据的产生机制，进行预测和政策制定。建立在相关关系分析法基础上的预测是大数据的核心，通过找出一个关联物并监控它，我们就能预测未来。 　　大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Volume、Variety、Value和Velocity)，即体量大、多样性、价值密度低和处理速度快。具体来讲，一是数据体量巨大。数据信息计量的最小基本单位是字节(Byte) ，换言之， Byte是计算机信息技术用于计量存储容量和传输容量的一种计量单位，一个字节等于8位二进制数，在UTF-8编码中，一个英文字符等于一个字节。数据存储是以“字节”(Byte)为单位，数据传输是以“位”(bit)为单位，一个位就代表一个0或1(即二进制)，每8个位(bit)组成一个字节(Byte)。8bit=1Byte，数据存储是以10进制表示，数据传输是以2进制表示，所以1KB不等于1000B，而是1KB=1024B， K是千， M是兆 ，G是吉咖， T是太拉。按信息量从小到大的顺序，单位分别是：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，除了 1Byte=8bit而外，后续的计量单位均按照进率1024(2的10次方)来计算。大数据的“大”没有精确的定义，不同的时代对应着不同的大数据规模，当前大数据的数据规模在GB、TB、PB、EB、ZB这几个规模尺度上。二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。三是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。大数据分析犹如“大海捞针”。四是处理速度快。数据处理遵循“1秒定律”，需从各种类型的数据中快速获得高价值的信息。 　　(二)大数据的主要成因 　　大数据的背后推手有哪些?以下三大因素是大数据的主要成因： 　　第一，人类保持数据的能力增强。 　　1965年，英特尔的创始人之一戈登·摩尔提出了著名的摩尔定律。该定律认为，同一面积集成电路上可容纳的晶体管数量，一到两年将增加一倍。回顾半个多世纪的历史，硬件技术的发展基本符合摩尔定律。以物理存储器为例，其性能不断上升，与此同时，价格不断下降。1955年，IBM推出第一款商用硬盘存储器，一兆字节的存储量需要6000多美元。到2010年，一兆字节的存储量仅仅需要0.005美分。半个多世纪，存储器的价格下降了1亿倍! 　　预计2020年，1太硬盘的价格将下降到3美元，相当于一杯咖啡的价格。一所普通大学的图书馆，其馆藏量大约就一两个太。也就是说，到2020年，只需要花上一杯咖啡的钱，就可以把一个图书馆的全部信息拷进一个小小的硬盘。正是因为存储器的价格在半个世纪之内经历了空前绝后的下降，人类才可能以非常低廉的成本保存海量的数据，这为大数据时代的到来铺平了硬件道