当前我国大数据的产业化应用与瓶颈分析.pdfVIP

当前我国大数据的产业化应用与瓶颈分析--第1页

当前我国大数据的产业化应用与瓶颈分

析

摘要：当前，我国大数据产业规模正在不断扩大，成为中国经济发展的全

新动能。从大数据的全生命周期看，大数据的采集、大数据的存储与管理、大数

据的处理与计算、大数据的传输与交互、大数据的查询和可视化展示、大数据的

运算能力和深度学习等技术能力正在不断提升，尤其是我国的大数据产业化应用

技术正在不断走向成熟。同时，在人工智能、5G网络、云计算、物联网等新一代

信息技术融合下，大数据产业化应用的商业场景越来越多，在金融、电信、制造、

政务、医疗等各个领域打造大数据应用模式，打造数字经济新范本。不过，目前

我国大数据发展正在面临四大瓶颈：大数据开放共享进程有待提速，大数据流通

与交易的市场机制尚不成熟，大数据技术引领能力有待提升，大数据应用专业化

人才短缺。

关键词：大数据产业化应用商业场景瓶颈

中图分类号：文献标识码：文章编号：

随着信息技术和人类生产生活交汇融合，全球数据呈现爆发增长的特点，对

经济发展、社会生活、企业发展产生了巨大影响。据国际数据公司IDC报告，中

国数据总量预计在2023年达到76.6个ZB，年均增长速度超过26%，为全球增速

最快的国家。在人工智能、5G网络、云计算、物联网等新一代信息技术融合下，

不同类别、不同来源、不同形式的数据正进行海量规模的交互，管理、处理、分

析与优化能力也在大大提升。就产业应用而言，大数据正在各个场景中展开应用，

创造出巨大的经济价值。

一、大数据产业化应用的技术现状

当前我国大数据的产业化应用与瓶颈分析--第1页

当前我国大数据的产业化应用与瓶颈分析--第2页

从大数据的全生命周期看，包括大数据的采集、大数据的存储与管理、大数

据的处理与计算、大数据的传输与交互、大数据的查询和可视化展示、大数据的

运算能力和深度学习等，正是这些技术的发展，为大数据产业化应用提供了可能。

在大数据采集方面，虽然中国数据采集技术和服务起步较晚，但近年来发展

迅速。国内数据采集企业主要分两类：一类是在运营过程中产生大量数据的企业，

这些企业通过构建数据采集体系进一步挖掘价值。另一类是应用网络爬虫、人工

智能、无人机、遥感技术等技术手段，通过采集文本、语音、图像、视频、传感

器、条形码、遥感遥测等各类数据，为企业客户提供大数据服务。

在大数据的存储与管理方面，行业经历了从传统的数据仓库向Hadoop和MPP

数据库架构的过渡，而数据仓库建设较晚的行业由于后发优势直接使用Hadoop

或者MPP数据库来构建企业级数据仓库。就目前而言，大数据仓库建设既需要大

数据技术人员的支持，也需要数据管理团队的支撑，前者负责平台搭建、运维，

而后者负责数据标准、数据模型、数据治理、数据生命周期的实施。

在大数据处理和计算方面，大数据的计算框架由传统的MapReduce转向百花

齐放，Hadoop、Spark、Storm、Flink等均称为主流框架，各有优劣。比如

Spark以内存计算带来性能的大幅提高，尤其是Spark增加了更多了优化器，计

算性能进一步增强。但Spark提供的底层计算引擎来支持批量、SQL分析、机器

学习、实时和图处理等多种能力本质上还是小批的架构，而在流处理情况下

Flink会略有优势。对此，企业需要根据自身情况选择相应的数据处理和计算框

架。

在大数据的传输与交互方面，主要是大数据交互的规范标准受到各国关注。

其中，WG9的国际标准在大数据国际体系中起到基础性作用，是其他大数据相关

标准和规范的编制基础和参照。JTC1内的其他分委员会（如SC32等