- 1、本文档共29页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
电信网和互联网数据溯源技术规范
1范围
本文件规定了电信网和互联网数据溯源的技术要求与测试方法。
本文件适用于指导电信网和互联网开展数据溯源能力建设及管理,也适用于监管部门第三方机构等组织对数据溯源能力进行监督和评估。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其必威体育精装版版本(包括所有的修改单)适用于本文件。
GB/T34945—2017信息技术数据湖源描述模型
3术语和定义
GB/T34945—2017界定的以及下列术语和定义适用于本文件。
3.1
数据溯源dataprovenance
根据数据在整个生存周期内(从产生、传播到消亡)的演变信息和演变处理内容的记录推演数据演变情况的过程。
[来源:GB/T34945—2017,定义2.1,有修改]
3.2
溯源信息proveranceinformation
推演数据演变情况所依据的演变信息和演变处理内容的记录。
4缩略语
下列缩略语适用于本文件。
IP
ETLSQL
5概述
5.1数据溯源类型
网络互联协议
抽取、转换、加载结构化查询语言
lnternetProtocol
Exirct-Trinsform-Load
StructunelQueryLanguage
按照回溯目标不同,数据溯源通常分为数据衍生关系溯源和数据流转路径溯源
5.2数据衍生关系溯源
数据衍生关系溯源是根据数据在整个生存周期内(从产生、传播到消亡)的演变信息和演变处理内容的记录,推演数据衍生关系的过程。产生数据衍生关系的操作包括数据表的建立、修改等,涉及到数据的收集、存储、使用、加工、提供、删除等活动
推演数据衍生关系一般可通过分析日志记录等方式开展。
5.3数据流转路径溯源
数据流转路径溯源是根据数据在不同系统间,或在同一系统的不同节点之间流转过程的记录,推演数据演变情况的过程。产生数据流转路径的操作包括系统节点间的数据访问、系统间的数据访问等。
推演数据流转路径一般可通过分析日志记录的方式开展,适用于组织机构内部。当数据离开组织机构内部进行流转时,外部日志记录难以获取,则需要通过数据水印、文档指纹等技术完成数据路径溯源。
不同场景下的数据溯源技术实现方式见附录A。
6数据衍生关系溯源
6.1溯源对象
数据衍生关系溯源的溯源对象可以为表名、字段名等元数据,不包含数据内容。
6.2溯源流程
数据衍生关系溯源在开展数据收集、数据存储、数据使用、数据加工、数据传输、数据提供、数据公开等数据处理活动的同时,同步记录并更新溯源信息。针对待溯源的数据,按
需获取、分析相应的溯源信息,推演数据衍生关系并进行展示,具体过程示例见图1。
需获取、分析相应的溯源信息,推演数据衍生关系并进行展示,具体过程示例见图1。
数招处理话动
据收基
数据存
数面他用
数据工
数据传
数据提供
数据公开
记录更新测源信息
记录更新调源信息
记录/更新测源信息
记录便新调源信息
记录/更新阅源信息
记录便章滴源信息
记录使新南源信息
监据而生爱鼎阅源
数生关系
特测的数据
分析源信息
图1数据衍生关系额海流程
6.3溯源信息记录要求
溯源信息由“数据-活动-执行实体”三个基本构件组成,数据包括“数据集”和“参数”子类;活动指生成数据、使用数据或触发其他活动的动作;执行实体包括“人类执行实体”和“非人类执行实体”,各构件及子类之间关系参考GB/T34945—2017第三章的相关描述。
记录测源信息过程中每个构件内容应包括:
a)数据构件应包括但不限于数据库名称、数据表名称、数据字段名、字段类型,存
储位置,数据表的创建时间、创建账号、创建时使用的参考数据表、来源数据表:
b)活动构件应包括但不限于:对数据集的操作名称(如创建、复制、修改、删除)、
操作时间、操作涉及的其他数据集等;
c)执行实体构件应包括但不限于:操作账号或操作人、操作接口。
6.4湖源信息管理要求
6.4.1湖源信息获取
溯源信息获取应满足以下要求:
a)溯源信息获取应支持自动化获取和手动生成两种方式:
b)自动化数据源信息获取可通过提取访问SQL语句、解析数据ETL任务、日志分析等方式中的任意一种或多种实现,溯源信息的获取过程应保持对业务透明,不应影响业务对数据的正常访问、使用:
c)当数据发生修改时,更新溯源记录
6.4.2溯源信息存储
溯源信息存储应满足以下要求;
a)溯源信息应单独存储,不影响原始
您可能关注的文档
- 电信网和互联网数据溯源技术规范.pdf
- 电信网视频监控系统 移动视频监控业务应用平台.docx
- 电信运营商数据应用效果评价指标体系.docx
- 电信运营商网络带内流信息的自动化质量测量数据面技术要求.docx
- 电信运营商网络带内流信息的自动化质量测量数据面技术要求.pdf
- 电信运营商网络的自动化质量测量(Telemetry)测试方法.docx
- 电信运营商网络的自动化质量测量(Telemetry)技术要求.docx
- 电信运营商网络的自动化质量测量(Telemetry)技术要求.pdf
- 多视角视频业务应用场景与需求.docx
- 多视角视频业务应用场景与需求.pdf
- 2025届福建省漳州市高三上学期毕业班第一次检测(一模)物理试题.docx
- 福建省2025年高二学业水平考试综合仿真模拟信息技术试题(三).docx
- 2024届重庆市荣昌仁义中学校高三下学期模拟预测语文试题.docx
- 黑龙江省牡丹江市第三高级中学2023-2024学年高三下学期第四次模拟语文试卷.docx
- 安徽省2024年高中信息技术合格性考试上机模拟练习真题卷(六).docx
- 2024年广东省珠海市香洲区中考二模物理试题.docx
- 2024届山西省运城市闻喜中学校高三下学期模拟测试语文试题.docx
- 湖南省2024年九年级中考历史模拟题(一).docx
- 安徽省2024年高中信息技术合格性考试上机模拟练习真题卷(四).docx
- 福建省2025年高二学业水平考试综合仿真模拟信息技术试题(四).docx
文档评论(0)