产业体系不断完善-推进大数据加速落地.docx

??

?

??

产业体系不断完善，推进大数据加速落地

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

2014年，大数据进入快速发展的第一阶段，人们对大数据的概念和重要性已经有了比较清晰的认知。企业对于大数据的需求持续增强，各类大数据应用逐渐落地，并成为产业链的核心，企业着力培育自身的数据资产；政府的大数据思维逐渐形成，数据开放、应用数据提升治理能力、产业推进动作频繁。供给方面，新兴技术推动大数据技术环境趋向成熟，行业大数据应用逐渐丰富，大数据生态系统多元化程度加强。

一全球大数据从“概念”走向“价值”

大数据软硬件技术趋于体系化。大数据软件技术体系逐步趋于完整，在数据的基本框架、采集传输、存储、处理分析等各个环节上，都有不同于以往抽样、封闭、小规模条件的新技术予以支撑。目前的顶层软件技术主要有三类：流数据分析和复杂事件处理、数据库和Hadoop（见图11-1）。

图11-1大数据软件技术分类

同时，企业非常重视在大数据硬件技术上的布局。上海科技发展研究中心对全球大数据方面的专利分析表明：一方面，数据处理、存储和相关设备依然是专利较为集中的领域，如大数据专利数量较多的G06F-017、G06F-015、G06F-007、G06F-003、G06F-009、G06F-021等分类号，均侧重于计算机数据的处理、存储、控制、接口、安全等硬件电路、设备和零部件。另一方面，8571项专利集聚形成几个较大的专利群，包括采集显示和传输、处理分析、记录存储、数据管理、共享与协作等，其中规模最大的专利群，依然是与采集、显示和传输相关的外围信息硬件设备。

大数据创新从开源走向产品化，“两纵三横”的产业体系趋于成熟。与开源运动的结合是大数据技术创新中的一个鲜明特点，形成了独特的“互联网公司原创→开源扩散→IT厂商产品化→其他企业使用”的发展过程。领先企业进行前沿创新，创新成果通过开源得到不断完善并向全社会辐射，原创与开源相得益彰，在国际上形成了一套高效运转的研发产业化体系。开源模式让人们“不必重复发明轮子”，能够降低研发和采购成本，还能够启发新的创意，有效降低了产业技术的壁垒，吸引更多的企业和创业者介入，加快再创新步伐。特别是开源ApacheHadoop的大范围应用，大大加速了大数据应用进程，一大批互联网公司和传统IT企业从这种技术扩散体系中受益。在此基础上，传统的IT企业、互联网企业纷纷开发了基于大数据的行业解决方案和商业应用平台，一批新兴大数据企业加快发展并进行商业模式创新，产业创新生态系统所需的各项条件日趋完备。作为一个独立的产业来看，大数据的产业体系框架表现为“两纵三横”：“两纵”基于技术的基础程度，分为底层技术和应用层技术，前者是共性、基础性技术，如Hadoop框架、Hbase数据库、Mahout算法集等；后者是“二次开发”行为，包括各类个性化方案、产品与服务。而“三横”基于处理的流程顺序，分为基础设施、分析系统和应用工具，也可进一步细化为数据的采集、存储、处理、分析、服务五个方面。这一框架体系已经趋于成熟，能够满足当前大多数的产业应用需求。

企业内部针对大数据的支出增加，大数据产业规模不断增长。Gartner预计2014年IT相关支出的主要动力即大数据的发展，其在2014年10月的调查显示，业界对大数据技术的投资不断扩大，73%的受访者已经投资或者计划在未来24个月内投资大数据，相比2013年的64%有所增长。企业机构开始移除大数据投资的障碍，表示没有大数据相关投资的企业机构比例从2013年的31%降低至24%。2013年，只有8%的企业机构表示已经将大数据项目部署到生产环境中，到2014年这个比例增加到13%。分析交易数据的企业机构所占比例从2013年的70%增加到2014年的79%，而那些分析日志数据的企业机构减少了2%。Wikibon数据显示，2014年全球大数据产业规模约为285亿美元，比2013年增长53%（见图11-2）。其中大数据服务、硬件、软件分别占40%、38%和22%。

图11-22011～2017年全球大数据市场规模

面对大数据市场竞争，互联网巨头、专业大数据厂商和传统系统集成商[1]三类竞争者各具优势。

一是以互联网巨头为代表的“互联网颠覆者”。谷歌、亚马逊、Apache基金会开发了全新的基础技术与数据库构架，依靠免费、开源的互联网模式，主导大数据技术发展，彻底改变了原有的技术标准与游戏规则。

二是专业大数据厂商。在新的规则面前，大公司与创业者处在同一起跑线上，一些拥有核心人才与市场嗅觉的创业企业，如Splunk、Cloudera等企业，在特定工具、专业平台方面迅速抢占先机，填补市场空白，获得快速发展，在产业链中拥有了一席之地。随着大数据技术的初步成熟，在资本