十谈大数据-谢文.pdf

十谈大数据 谢 文 目 录 思维导图II 第一谈 大数据的挑战1 第二谈 扎克伯格定律3 第三谈 数据大未必是大数据5 第四谈 聚沙成塔 集腋成裘7 第五谈 重组产业链8 第六谈 孕育中的数据服务业9 第七谈 山重水复寻新路 10 第八谈 法律标准与事实标准 12 第九谈 需要一点想象力 13 第十谈 看得见的未来 15 思维导图 思维导图 思维导图 谢文：十谈大数据 （整理分享：@智慧农业SA） 第一谈大数据的挑战 如果你的网站拥有数以千万计的活跃用户，如果网站上拥有数以百计的产品服务，如果这些服务以 多媒体的形式在多个网络终端上运行，如果正在或者打算尝试走向云计算和WEB2.0 架构，那就恭喜你 了，因为你已经不知不觉地成为大数据时代的先行者或受害者。 按照维基百科上的定义，所谓“大数据”（big data ）在当今的互联网业指的是这样一种现象：一个 网络公司日常运营所生成和积累用户网络行为数据“增长如此之快，以至于难以使用现有的数据库管理 工具来驾驭，困难存在于数据的获取，存储，有哪些信誉好的足球投注网站，共享，分析和可视化等方面。”这些数据量是如此之 大，已经不是以我们所熟知的多少G 和多少T 为单位来衡量，而是以P （1000 个T ），E （一百万个T ） 或Z （10 亿个T ）为计量单位，所以称之为大数据。 大数据现象在物理学，生物学，环境生态学，自动控制等科学领域和军事，通讯，金融等行业已经 存在有些时日了，在互联网业出现却是近年来才逐渐引人注目的。这可以归结为三个基本原因。第一， 网络用户的高速增长和用户平均网络使用时间的不断延长，这使得用户网络行为数据大增；第二，网络 服务从单一的文字形式走向图片，语音和影像等多媒体形式，导致数据量大增；第三，网络终端由过去 的单一台式机变为台式机，平板电脑，书刊阅读器，手机和电视等多终端，大大扩充了网络服务的内容 与范围，大大提高了用户对互联网的依赖度，也就大大增加了数据量。 大数据的出现既为网络业带来了机遇也带来了挑战。从潜在的机会看，数据量的增加为网络公司提 供了精确把握用户群体和个体网络行为模式的基础，如果能够充分利用，就可以探索个人化，个性化， 精确化和智能化地进行广告推送和服务推广服务，创立比现有广告和产品推广形式性价比高数倍甚至数 十倍的全新商业模式。同时，网络公司也可以通过对大数据的把握，寻找更多更好地增加用户粘性，开 发新产品和新服务，降低运营成本的方法和途径。从现实的挑战看，主要集中在以下三个方面。 首先，大数据挑战着网络公司的战略决策能力。数据量的急剧增长不仅要求在带宽和存储设备等基 础设施方面要增加大量投入，而且使网络公司处于进退两难的境地。如果采取无所作为，固守原状的鸵 鸟政策，那就可能失去未来发展的机会，失去业内竞争的本钱，早晚会被产业淘汰或者居于下游；如果 与时俱进，转型适应大数据时代的到来，那就需要对公司的现有产品和运营体系进行全面的改造，例如 网站架构的重建；产品的通用化，标准化，模块化；商业模式的创新；等等。这对绝大多数网络公司而 言，既要维持现有业务，保持业绩的稳定和增长，又要加大投入，迅速转型，是个进退维谷的两难处境。 其次，大数据挑战着网络公司的技术开发和数据处理能力。大数据的出现以及潜在的商业价值不仅 要求网络公司使用专门的数据库技术和专用的数据存储设备，而且更要求专门的数据分析方法和使用体 系。目前业内流行的一般数据挖掘方法和通用商业数据库无法满足大数据时代的挑战。而且，网络公司 需要大量高端专业人才，这不仅指一般的程序员和数据库工程师，而且指天体物理学家，生态学家，数 学和统计学家，社会网络学家，社会行为心理学家，等等。对海量数据的分析不能仅仅局限在一般数据 规律和模型的把握水平上，而且要有理论思维和全面把握的综合深入能力。 第三，大数据挑战着网络公司的组织和运营能力。一般中小网络公司都没有专门的数据管理和分析 专家，即使是大型网络公司中，数据管理和分析部门也处于分散，被