服务机器人 中文语音交互系统性能测评方法.docxVIP

3

服务机器人中文语音交互系统性能测评方法

1范围

本文件规范了服务机器人中文语音交互系统性能测评方法的术语定义、技术要求、试验条件、试验方法、等级评价指标。

本文件适用于服务机器人中文语音交互系统。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB3096-2008声环境质量标准

GB/T17696-1999声学测听方法第3部分：语言测听

GB/T21023-2007中文语音识别系统通用技术规范

GB/T21024-2007中文语音合成系统通用技术规范

GB/T36464.2-2018信息技术智能语音交互系统第2部分：智能家居

GB/T36464.4-2018信息技术智能语音交互系统第4部分：移动终端术语和定义

3术语和定义

3.1下列术语和定义适用于本标准。

语音交互speechinteraction

人类和功能单元之间通过语音进行的信息传递和交流活动。

[来源：GB/T36464.2-2018,3.1]

3.2

语音交互系统speechinteractionsystem

由功能单元（或其组合）、数据资源等组成的能够实现与人类之间进行语音交互的系统。[来源：GB/T36464.2-2018,3.2]

3.3

语音合成speechsynthesis

通过机械的、电子的方法合成人类语言的过程。

[来源：GB/T21024-2007,3.1]

3.4

在线online

处于跟互联网相连接的状态。

[来源：GB/T36464.2-2018,3.3]

3.5

脉冲编码调制PCMpulsecodemodulation

对连续变化的模拟信号进行抽样、量化和编码产生的数字信号。

3.6

语音识别准确率speechrecognitionaccuracy

将人类的语音信号转化为正确文本的概率。

4

3.7

任务驱动的多轮对话task-orientedspokendialoguesystems

满足人类特定目的的持续对话。

3.8

问答QA

直接根据问题给出答案。

3.9

开放域聊天open-domainchat

不局限话题的聊天。

3.10

响应时间responsetime

从语音例句播放完成至系统做出语音反馈开始而所用的时间。

3.11

语音唤醒speechwakeup；voicetrigger

处于音频流监听状态的语音交互系统，在检测到特定的特征或事件出现后，切换到命令字识别、连续语音识别等其他处理状态的过程。

[来源：GB/T36464.2-2018,3.13]

3.12

误唤醒falsewakeup

语音唤醒过程中出现的，无音频流或者音频流中没有出现唤醒所需的特征或事件时，语音唤醒系统被唤醒的现象。

3.13

稳定性stability

语音交互系统在正常网络条件下稳定工作的能力。

4创建测评语音材料数据库

4.1测评语料设计

测评语料应从句型覆盖、词汇量覆盖、语义覆盖以及词域覆盖等加以设计。评测集文本分为若干组，每组可以由若干人发音组成。设计要求如下：

a)应针对被测评的服务机器人产品的自身特性进行设计；

注：如针对儿童陪护的服务机器人产品应加入相关语料，如儿歌、故事等对话语料内容。

b)应从不同领域、不同环境的语料中随机选择，同时考虑发音现象的覆盖性；c)应充分考虑句型、词汇、语义等的覆盖性；

d)应根据不同测试项目的试验目的进行测试句的内容设计；

e)测评语料除了核心主句，还应配备核心主句的相似变形句进行测评。

注：语料基础话题类别可参考：新闻、天气、时间日程、股票、体育、科技、日历、美食、旅行、音乐点播、电影、购物、花艺、家居、服装、美妆、养老、医疗、游戏等多种类别方向。

4.2语音录制要求

4.2.1录制设备及环境

为了清晰地录制说话者的声音，应考虑如下事项：

a)录音场所要选择隔音效果好的，且能够隔绝反射音及外部噪声的地方，如消音室；b)需要选择中音带域和高音带域的频率响应特性好的测量麦克风；

c)调整说话者的嘴和麦克风至合适的距离，如图1所示，建议为15~20cm，不要超过声音等级的最大许容值，以免形成不正确的发音；

5

图1录音距离示意图

d)会受到事先录制的声音音压影响的说话者，其嗓音、讲话语速和理想声谱宜依照ISO/TR4870-1991的2.24~2.26中的规定；

e)错