《鸿蒙机器人编程》课件——17-实践课 - 语音交互、识别与合成.pptxVIP

实践课-语音交互、识别与合成

课程介绍课程目的：了解语音交互的实现方法。课程内容：语音识别和语音合成的基本概念，介绍两款语音识别库及在ROS的具体应用。内容包括：ASR与TTS基本概念ROS中常用ASR与TTS库?NXROBO20222

ASR与TTS的基本概念ASR，英文的全称是AutomatedSpeechRecognition，即自动语音识别技术。语音辨识系统的性能受以下4类因素影响：

1.识别词汇表的大小和语音的复杂性

2.语音信号的质量

3.单个说话人还是多说话人

4.硬件TTS，英文全称是TextToSpeech，即文字语音转换，又称为计算机语音合成。语音合成系统包括三个主要的组成部分：文本分析模块、韵律生成模块和声学模块。TTS技术已经相对成熟。?NXROBO20223

ROS中常用的ASR与TTS库介绍spark的脱机语音识别使用的是pocketsphinx，但其只支持英文若想要支持中文还得选本土化的语音引擎。本土化的语音引擎最近比较火热的有迅飞、百度、阿里、云知声等。ROS中自带的语音合成的功能包是sound_play。下面分别介绍pocketsphinx功能包、sound_play功能包。?NXROBO20224

Sphinx介绍Sphinx-2采用半连续隐含马尔可夫模型（SCHMM）建模，采用的技术相对落后，使得识别精度要低于其它的译码器。PocketSphinx是一个计算量和体积都很小的嵌入式语音识别引擎。是第一个开源面向嵌入式的中等词汇量连续语音识别项目。Sphinx-3是CMU高水平的大词汇量语音识别系统，采用连续隐含马尔可夫模型CHMM建模。Sphinx-4是由Java语言编写的大词汇量语音识别系统，采用连续的隐含马尔可夫模型建模。由于完全采用JAVA语言开发，具有高度的可移植性，允许多线程技术和高度灵活的多线程接口。?NXROBO20225

PocketSphinx在ROS中的使用自带主机的spark本身已经安装好pocketsphinx库，如果是自己的笔记本，请从/NXROBO/spark.git下载源码，并运行源码里的onekey.sh，按照提示安装spark依赖，当然你也可以选择如下步骤手动安装：安装系统依赖库：更新pip：使用pip安装相应的库：?NXROBO20226$sudoaptinstall-yswigportaudio19-dev$sudoeasy_install-Upip$sudopip3installpocketsphinxwebrtcvadpyaudio

麦克风测试首先，插入你的麦克风设备，然后在系统设置里测试麦克风是否有语音输入。如果使用的是spark自带的小主机，可以使用深度摄像头提供的阵列麦克风（带ASTRA字样Microphone）。尝试对机器人说话，看inputlevel是否有变化。如果识效果不好，可以通过调节inputvolume来优化。?NXROBO20227

基于PocketSphinx的语音识别程序local_asr.py?NXROBO20228

启动识别启动程序：?NXROBO20229$roscorerosrunspark_voicelocal_asr.py

启动识别现在说几条短语，turnleft,forward,stop。我们可以在话题/voice/stt上看到识别的结果消息：?NXROBO202210$rostopicecho/voice/stt

词汇库这个语音识别是一种脱机识别的方法，如果想看语音识别库中有哪些文本信息，可以通过下面的指令进行查询：?NXROBO202211$roscdspark_voice/scripts/lib/pocketsphinx-data/$morecmd.txt

训练声学模型?NXROBO202212一般这种脱机语音识别效果不是特别理想若想得到更好的效果，我们需要训练自己的声学模型提高识别准确度同时也可以自己向语音库中添加其他的文本识别信息由于篇幅的原因，这里不作过多的介绍，大家可以访问https://cmusphinx.github.io/wiki/tutorial/进行学习。

在线语音识别更通用的做法是选择在线语音识别，这样可以大大提高语音识别的准确率。注意使用此功能需要互联网支持。一般语音识别服务的提供商都有非常完善的SDK调用说明，支持各种程序设计语言。下面以百度的在线语音识别(baidu_asr.py)为例，给大家简单介绍一下?NXROBO202213

在线语音识别?NXROBO202214baidu_asr.py

语音控制语音控制的流程一般是由语音识别节点（比如baidu_asr.py）