DB4208_T 59-2024 荆门城市大数据采集规范.docx

ICS35.240

CCSL70

荆

门

市

DB4208

地方标准

DB4208/T59—2024

代替DB4208/T59-2017

荆门城市大数据采集规范

DataacquisitioncriterionofBigDatainJingmencity

2024-02-01发布2024-03-01实施

荆门市市场监督管理局发布

I

DB4208/T59—2024

目次

前言 Ⅱ

引言 Ⅲ

1范围 1

2规范性引用文件 1

3术语和定义 1

4总体架构 5

4.1数据采集工作流程 5

4.2数据采集处理架构 6

4.2.1数据采集系统 6

4.2.2消息服务 6

4.2.3数据交换管理中心 7

4.2.4任务系统 7

4.2.5运行与监控 7

4.3数据采集网络架构 7

4.3.1数据采集逻辑架构 7

4.3.2数据采集物理部署 7

4.4采集过程数据分析 8

4.4.1数据类型 8

4.4.2数据质量 8

4.4.3数据存储 9

5技术规范 9

5.1数据采集方案选择 9

5.1.1数据库接入方式 9

5.1.2文件接入方式 10

5.1.3API接入方式 11

5.1.4网页接入方式 12

5.1.5流式接入方式 13

5.1.6消息接人方式 13

5.2数据采集周期 13

5.3数据采集更新机制 13

5.3.1全量抽取 13

5.3.2增量抽取 13

5.4数据采集实施 14

5.4.1数据采集实施流程 14

5.4.2任务分解 15

5.4.3数据采集监控 16

Ⅲ

DB4208/T59—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本文件代替DB4208/T59-2017,与DB4208/T59-2017相比，除文件编号按照新要求更新外，主要技术参数未发生变化。

本文件由荆门市电子政务信息中心(荆门市大数据中心)提出。本文件由荆门市行政审批局归口。

本文件起草单位：荆门市电子政务信息中心(荆门市大数据中心)。

本文件主要起草人：胡玉荣、罗传军、肖立刚、杨金龙、刘波、田原、陆焱、王娅纷、熊士杰、陈永锋、李祥琴、游明坤、赖旭、武永成、董尚燕、张牧、吴际林、刘珊艳、余建国、方靖、庄小林。

本文件于2017年5月首次发布。

本文件实施应用中的疑问，可咨询荆门市行政审批局，联系电话：(0724)2376309,邮箱：

690882384@;对本标准的有关修改意见建议请反馈至荆门市电子政务信息中心(荆门市大数据中心),联系电话：(0724)2376119,邮箱：282685564@

IV

DB4208/T59—2024

引言

党中央、国务院高度重视大数据发展。国务院《促进大数据发展行动纲要》明确指出要“建立标准规范体系，推进数据采集、政府数据开放、指标口径、分类目录、交换接口、访问接口、数据质量、数据交易、技术产品、安全必威体育官网网址等关键共性标准的制定和实施。”

荆门市以国家大数据战略为指导，遵循“务求实效、急用先行”的原则，首次制定五个大数据标准规范。标准规范的制定，对建设荆门城市大数据中心，规范数据处理流程，满足大数据中心建设和管理的需要，促进“智慧荆门”建设具有重要意义。五个标准规范包括荆门城市大数据术语、荆门城市大数据采集规范、荆门城市大数据清洗规范、荆门城市大数据比对规范和荆门城市大数据共享规范。荆门城市大数据术语分为总论、数据采集、数据清洗、数据比对、数据共享和应用服务六大类，规定了荆门城市大数据中心建设领域的术语和定义，其余四个标准规范则规定大数据中心数据采集、清洗、比对和共享的总体框架和技术规范，涉及数据处理的整个流程：首先进行数据采集，然后通过数据整合(包括数据清洗和数据比对),将整合成功的数据装载到公共基础信息库，根据需要提供数据共享。

五个标准规范的制定是荆门市电子政务信息中心(荆门市