20255任务型智能对话系统的能力评价.docx

任务型智能对话系统的能力评价

Evaluationonthecapabilityforthetask-orientedartificialintelligencedialoguesystem

PAGE\*ROMAN

PAGE\*ROMANIII

目 次

目次 I

前言 II

引言 III

范围 1

规范性引用文件 1

术语和定义 1

总体原则与要求 3

智能能力类型 3

智能能力等级 5

三类智能能力的等级 5

综合评定 6

智能能力的评价 6

评价指标 6

评价方法 6

评价数据 6

评价过程 6

附录A（资料性）对话系统智能等级评价项检查清单及应用示例 8

附录B（资料性）评价用例类型及示例 11

引 言

人工智能理论和技术兴起以来，各种理论观点和应用分析大量涌现，导致各种技术规范、指南、文件条文复杂，术语繁多。其中，以人工智能应用为最大特点的对话机器人研究领域，细分领域众多，评价标准不一致、不兼容、不互通，给研究人员、开发者和使用产品的用户都带来了很多困扰。因此，为对话机器人或人工智能对话系统，建立智能能力评价标准，有助于构建兼容社会规范的、安全的、系统扩展性良好的人工智能设施。

本文件在人工智能领域内，对以完成任务为目标的智能对话系统，确立了评价体系，把智能能力分为三个类型、五个等级，明确了各自的能力组成和相应的能力表现要求。本文件与国内已有的智能语音交互系统、人工智能等级评估等国家标准、团体标准都兼容。本文件适用于面向任务型的智能对话系统，非任务型的其他智能对话系统也可参考使用。

本文件可供人工智能系统的设计和开发人员、理论研究人员，以及实际使用对话系统的用户参考使用。依托本文件，可评价对话系统的智能等级水平，并指导对话系统的研究、设计、生产和应用分析。

PAGE

PAGE10

任务型智能对话系统的能力评价

范围

本文件确立了任务型对话系统的智能能力评价体系，明确了能力分类，并对每类能力给出分级评价表，明确了各等级的能力表现要求。

本文件适用于智能对话系统能力的分类、分级与评价。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T36464.1-2020信息技术智能语音交互系统第1部分：通用规范GB/T36464.3-2018信息技术智能语音交互系统第3部分：智能客服

GB/T5271.28-2001信息技术词汇第28部分：人工智能基本概念与专家系统T/CESA1038-2019信息技术人工智能智能助理能力等级评估

术语和定义

GB/T5271.28-2001、GB/T36464.1-2020、T/CESA1038-2019界定的，以及下列术语和定义适用于本文件。

3.1

对话系统dialoguesystem

一种与人进行沟通交流的人工智能（ArtificalIntelligence）系统，其交流方式可通过自然语言，也可通过文字、语音、图形、触觉、手势等模式之一种或多种的组合。

也可称之为对话代理（ConversationalAgent），或对话机器人。

注：本定义参考了GB/T5271.28-2001的术语28.01.05“基于知识的系统”，以及GB/T36464.3-2018的术语3.3“语音交互系统”。

3.2

任务task

一种指向性明确的、可量化实现的目标。

注：开放性的、没有明确指向的过程，比如，闲聊型机器人的对话，不属于本文件所定义的“任务”。

3.3

任务型对话系统task-orienteddialoguesystem

以完成任务为目标的对话系统。

3.4

人工智能ArtificialIntelligence，AI

表现出与人类智能（如推理和学习）相关的各种功能的功能单元的能力。

注：本文件中，特指利用数字计算机或者数字计算机控制的机器或系统，模拟和扩展人类智能，感知环境、获取知识并使用知识获得某种结果的能力。

[来源：GB/T5271.28-2001，28.01.02]

3.5

情感affection

人对客观事物是否满足自己的需要而产生的态度体验。注1：情感是多种感觉、思想和行为综合产生的心理和生理状态。注2：情感产生于内部动机和外部环境刺激。

注3：情感有三个成分：主观体验、外部表现和生理唤醒。

注4：情感有四个特性：通用特性、文化特性、个体特性与情境特性。注5：情感可以描述用户的情绪、倾向、喜好、个性等。

3.