T_AHAI 013-2024 面向终身学习的知识图谱构建系统技术规范.pdf

ICS35.240

CCSL67

T/AHAI

安徽省人工智能协会团体标准

T/AHAI013—2024

面向终身学习的知识图谱构建系统

技术规范

Technicalspecificationforknowledgegraphconstructionsystemoflifelonglearning

2024-12-02发布2024-12-02实施

安徽省人工智能协会  发布

T/AHAI013—2024

c)应确保数据输出的规范化和标准化，包括字段命名、数据编码、单位统一等，以便后续数据集

成和应用；

d)应确保数据获取的合法性和可靠性，避免侵犯他人隐私或知识产权。特别是在涉及第三方数据

提供商时，需要明确数据授权方式和使用条款；

e)应设置异常处理和改进机制。确保对数据获取过程中出现的问题和异常进行记录和分析，及时

纠正和改进数据获取的流程和方法；

f)应对采集到的数据进行存储，以便后续分析。

6.2数据清洗与去重

面向终身学习的知识图谱数据清洗与去重，应满足数据来源与途径明晰化、数据粒度和维度确认、

数据规范化与标准化以及合法性和可靠性保障等技术要求，以确保清洗与去重后的数据质量和可用性，

为知识图谱的构建和应用奠定基础。

数据清洗与去重阶段的技术要求如下：

a)数据来源与途径明晰化：应明确数据清洗与去重的目标数据来源，包括已有知识图谱、自然语

言文本、结构化数据库等。对于每个来源，需要了解数据的结构、格式、获取方式和访问权限

等具体信息。

b)数据粒度和维度确认：应根据知识图谱的应用场景和需求，明确数据清洗与去重输出的粒度（如

实体、关系等）和维度（如时间、地点、属性等），以满足后续知识图谱构建的需求。

c)数据规范化与标准化：应确保清洗与去重后的数据输出符合统一的规范和标准，包括字段命名

一致、数据编码统一、单位规范等，以便后续数据集成和应用。

d)合法性和可靠性保障：应确保数据清洗与去重过程中的合法性和可靠性，避免侵犯他人隐私或

知识产权。特别是在涉及第三方数据提供商时，需要明确数据授权方式、使用条款和合规性，

以保证数据的合法获取和使用。

e)缺失值填充：应对于存在缺失值的数据，需要进行适当的填充操作，以保持数据完整性。常见

的缺失值填充方法包括使用均值、中位数或众数进行填充，或者根据数据的特点和背景知识进

行合理推测和插补。

f)异常值处理：异常值会对后续分析和应用造成不利影响，因此需要识别和处理异常值。常见的

异常值处理方法包括使用统计学方法（如3σ原则、箱线图等）进行判断和剔除，或者根据领

域知识和实际情况进行异常值的修正或标记。

6.3知识抽取

6.3.1实体抽取

实体抽取是自然语言处理中的一项重要任务，其主要目标是从文本中识别和提取出具有特定意义的

实体，如人名、地名、组织名、时间、数量等。

实体抽取的技术要求如下：

a)实体抽取的结构和形式输出实体应包括类型、起始位置、结束位置等信息，以便于后续处理和

应用。实体抽取结果应采用统一的格式和标注规范，以支持不同系统间的交互和整合；

b)数据类型和规模。文本数据应涵盖多个领域和主题，包括但不限于新闻、社交媒体、学术文献

等，覆盖范围广泛。数据规模应确保充分覆盖各类实体，包括人物、地点、组织、时间等；

c)利用命名实体识别技术，从文本中识别出具体的实体，包括人名、地名、组织名等，以支持多

种实体类型的识别，满足不同场景下的实体抽取需求；