大数据：热潮中切忌一哄而上.docVIP

大数据：热潮中切忌一哄而上 2013年11月27日 15:44来源：中国科技网-科技日报 原标题：大数据：热潮中切忌一哄而上—关于大数据的观察与思考 本报记者 高博 “通过大数据的挖掘，从资料完整度、交友真诚度及账号安全度评定用户‘靠谱度’。”一家著名婚恋介绍网站最近打出广告，声称可用“大数据”技术打击相亲骗子。 如今，“大数据”是一个时髦的词汇，很多商家纷纷推出“大数据”服务。全世界的大数据技术研发机构都吸引了众多风投和眼球。 大数据让人眼前一亮，也让人两眼一黑。9月，著名信息技术分析公司Gartner发布《2013年大数据普及程度背后的炒作》报告，指出2013年30%的企业已开始大数据工作，而另外34%的企业有计划在两年内开始。但这些企业大多告诉调查者，不知道自己在做什么，也不知道为什么要做大数据工作。 根据这一报告，半数以上企业不知道如何从数据中获取价值；三分之一的企业缺乏大数据处理能力；甚至还有超过五分之一的公司不知大数据究竟为何物。 如果连嗅觉灵敏的企业家们都不真正理解大数据，其他人就更是难窥其全貌。大数据时代还在雏形，它会变成什么样子没人能说准。 起源于科学界的商业热词 尽管商界对大数据带来的商机津津乐道，但一开始讨论大数据时代的是科学家。“生命与医疗、粒子物理、天气预报、基因学、地震预报等已经是数据密集型应用了。”清华大学自动化系教授肖田元说，“典型的例子是美国气象预报局年数据量达30PB（1PB=100万GB），每日观察资料超过35亿份。DNA序列分析使用网络大数据分析工具进行亿万次DNA短链分析，制造基于DNA的分子物质。科学家还推出大尺度数据管理架构与可视化方法，让解码人类基因组这种原先花费10年的工作可以在一周内完成。” 上海大学教授费敏锐介绍道：“像华大基因，分析的数据量有几百PB。他们在全世界找到了25种栽培稻和24种野生稻，正因为有大数据分析能力，他们扫描了这些水稻的全基因图，找到了162个决定水稻产量的基因。” 大型强子对撞机（LHC）的例子更是常被提及，LHC每秒钟生成1PB的数据，要用4.5万个磁带机做存档，是目前世界上最大的数据生产者。 在此背景下，2008年9月，《自然》杂志推出大数据专刊，探讨科研形态变化；《科学》杂志2011年也推出大数据专刊，将大数据深度分析看成未来研究的突破点。 “真正开始讨论大数据，大家都公认是《自然》杂志2008年的专辑所带来的。”电子科学研究院研究员王积鹏说，“计量文献来看，讨论大数据的论文2011年发生井喷。这几年大家都拿大数据说话，但是主要在于应用，而不是在于理论研究。” 科学家们当时的忧虑是大数据难以处理，肖田元说：“计算机已经超过了千万亿次级，‘天河二号’是2000万亿次，未来10年可能达到亿亿次。但是软件发展很慢。美国也是这样，认为高性能计算的算法开发滞后。我们国家高性能计算机为什么利用率不高，原因就在这里。” 典型的数据管理困境，如国内一位信息技术工作者所说：“我做过某卫星的信息资源管理，卫星每天产生上百GB的数据量。处理完之后，文件都存在相应的磁盘、磁带等，通过几个系统呈现，一年下来数据量相当大，但是并没有产生大数据的特性。” 工业界也提出了类似问题，肖田元举例说：“有个著名的发动机公司提出设想，把它的航空发动机数据实时传到总部，结合过去的数据，实时检测和预报故障。数据量非常大，现在要同时检测、计算和预报，很难做到。”这一困难，肖田元概括为“科研智能如何赶上感知能力”。 在科研界关于大数据挑战的讨论之后，互联网商业看到了大数据中的“金矿”。这也是被如今大家所熟悉的大数据议题。最典型的例子如宏源证券研究所副所长易欢欢介绍：“阿里巴巴，最早从B2B到B2C，聚集了千万级的中小微企业，形成了5.4亿注册用户。这个公司牛在哪？这些数据背后的因素包括什么？销售数据、产品数据、应收账款、存货、资金流向、物业信息等一系列综合信息，而且是实时的，远比银行报表准确得多。它有你的消费偏好、家庭地址、还款卡号等一系列信息，这才叫大数据。” IT业研究公司MM发布的一份必威体育精装版报告指出，全球大数据市场将在未来5年内迎来高达26%的年复合增长率——即从今年的148.7亿美元增长到2018年的463.4亿美元。膨胀速度如此快，可见市场对大数据概念响应的热烈。 不同行业从不同角度发现了数据爆炸的挑战和机会。最终，大数据频频见诸媒体，成为达沃斯等国际峰会上的热词，但就如前述报告所显示的，企业家对这一概念并无把握。 数据公开让美国占得先机 大数据商机显现后，2012年3月，奥巴马政府发布《大数据研究与发展倡议》，同时组建“大数据高级指导小组”，标志着美国把大数据提高到国家战略层面。 国防大学教授胡晓峰说：“我认为奥巴马试图通过大数据发展计划，再次重复信息高速公路计划带来的互联网霸权。