湖南统计科研课题.doc

湖南省统计科研课题 课题名称 ： 基于大数据的政府统计数据体系结构研究 课题负责人 ： 刘金文 负责人所在单位 ： 长沙市统计局 立项编号 ： 2013A06 课题组成员 ： 曹敬波、刘权、何兴颖、王蔚、罗黎敏 2014年3月 目 录 一、引言 1 1.1 统计大数据概述 2 1.2、国内外研究现状 3 1.2.1 国外研究现状 3 1.2.2 国内研究进展 4 二、当前政府统计数据管理体系结构分析 5 2.1 当前政府统计数据管理系统的架构模型 5 2.2 当前政府统计数据处理流程 6 2.2 当前政府统计数据管理应用系统在大数据环境下面临的问题 8 三、大数据背景下政府统计的系统构架探索及关键技术分析 9 3.1 大数据背景下政府统计应用系统的概念模型 11 3.2 大数据背景下政府统计应用系统的架构设计 12 3.3 关键技术分析 17 3.4 两种系统架构对比分析 20 四、支持政府统计大数据架构的相关问题 22 4.1 从法律和技术层面解决好大数据的应用开发问题 22 4.2 突破现有统计制度的约束，解决好数据的来源问题 23 4.3 需要有战略眼光的大数据决策者与战术能力的大数据实践者 24 4.4 打破数据共享的壁垒，发展新的统计业务 24 五、基于大数据的政府统计应用前景 25 六、结语 26 七、参考文献 26 摘 要 本研究探索大数据背景下政府统计的数据管理技术演变及关键技术需求。从政府统计工作流程和应用模式入手，研究了国内外大数据及其相关技术的发展，深入探索了国际、国内政府统计部门在大数据背景下面临的挑战与机遇。在分析当前政府统计数据处理系统架构的基础上，提出了基于大数据的政府统计数据体系结构框架模型及实现政府统计信息的“大数据”化的关键技术需求，并对当前政府统计在大数据背景下存在的问题进行了分析，给出 一、引言 根据 IDC 作出的估测，数据一直都在以每年 50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到 2020 年，全球将总共拥有 35ZB 的数据量，相较于 2010 年，数据量将增长近 30倍。这不是简单的数据增多的问题，而是全新的问题。 大数据是这两年很热的一个话题，各行各业都在讨论并实践它。因为它代表了尽可能广泛全面的数据来源，尽可能多的数据资源，以及最前沿的数据处理技术，它成为许多行业的风向标，也在市场的应用与开发领域有其相当独特的贡献。 现在政府统计部门进行数据处理，一般都是以固定的、周期性的、政策性的数据来源作为源数据，对这些数据进行加工处理后，形成数据产品，服务于党政机关和社会大众，起到决策支持作用。大数据时代到来后，有一些人认为政府统计会被弱化，因为政府统计部门不再是数据的唯一生产者和拥有者，以淘宝、腾讯、百度数据要1.1 统计大数据概述 马建堂局长在全国统计工作会议上强调：“大数据时代”的来临，对我们统计数据的生产方式带来了很大的挑战。统计部门要充分利用海量数据并对其进行标准化处理，发掘这一数据宝库，认真把握好这一促进政府统计改革发展的难得机遇。尽管到目前为止对“大数据”尚无统一的定义，但是“大数据”的四“V”的特点:数量大(Volume)、速率快(Velocity)、多样化(Variety)和不稳定(Variability)却得到了普遍的认同大数据具有三个特征一购物推荐系统为例，购买 如何应对大数据的时代背景，积极的、科学的发掘这一巨大的数据宝库，将传统统计方法与新技术、新平台结合起来，寻找能、精准、高效揭示社会统计信息的实现途径及关键技术，成为统计人的新题。 1.2、国内外研究现状 .2.1 国外研究现状 国外对大数据的研究最早可以追溯到2004年Google对BigTable的研究，2008年国际顶级期刊《Nature》和《Sciences》针对大数据分别出版了专刊《Big Data》和《Dealing with Data》讨论了大数据处理面临的各种问题。2011年，麦肯锡研究院在《大数据:创新竞争和生产率的下一个前沿》的报告中,提出大数据时代已经到来。2012年3月，美国公布了“大数据研发计划”,将大数据上升到国家战略层面，新西兰、意大利、联和国统计署（局）及世界银行统计司对大数据和政府统计已进入了初步的研究探讨，并提出大数据时代政府统计的发展等系列问题。与此同时，商业、医疗、公共交通等领域已有不少大数据应用的成功案列。 .2.2 国内研究进展 我国对大数据的研究始于2011年。2012年7月22日在北京大学举行了“首届中国大数据应用论坛”，主要议题包括了大数据的发展趋势、不同场景的大数据应用、云计算与大数据、大数据与商业智能等研究内容，旨在共同讨论大数据的应用价值