机器人感知智能 课件 第5章 机器人听觉感知.pptx

机器人感知智能;声音是一种物理波动现象，即声源振动或气动发声所产生的声波。

声波通过空气、固体、液体等介质传播，便能被人或动物的听觉器官所感知。

声波具有一般波的各种特性，包括反射、折射和衍射等。

声音还是一种心理感受，不仅与人的生理构造和声音的物理性质有关，还受到环境和背景的影响。

;纯音和复合音都是周期性声音，波形具有一定的重复性，具有明显的音高。

纯音是只具有单一频率的正弦波，通常只能由音叉、电子器件或合成器产生，在自然环境下一般不会发生。

日常生活和自然界中听到的声音大多是复合音，由许多参数不同的正弦波分量叠加而成。

纯音和复合音之间可以互相合成与分解。;二、人类听觉中枢;三、人类听觉中枢的工作方式;（一）声源目标的实时定位：在许多应用场景下机器人是需要实时与人进行沟通的，目标定位的实时性是机器人定位应用的关键问题，如何进一步提高算法的精度和速度是下一步研究的主要内容之一。

（二）多语音识别：很多时候机器人实际工作环境不可能是单声源的，如何在多声源情况下服务机器人准确辨识、分离、判断任务，是人机互动的前提之一。

（三）针对运动声源实现跟踪定位：机器人大多需要不停移动或者被服务对象是运动的，如何针对运动的声源进行定位、追踪，同样是服务机器人进行声源定位的研究内容之一。

（四）智能、友好的交互方式：机器人可以透明地、主动与人交互，而人处于被动的方式。因此，服务机器人目标声源定位技术一定程度上受到相关技术的限制，例如声音的分离、检测以及识别等。;二、机器人听觉在应用中需要解决的问题;声音相似性：两段音频之间或者一段音频内部各子序列之间的相似性一般通过计算音频特征之间的各种距离来度量。距离越小，相似度越高。在某些时域信息很重要的场合，通常使用动态时间规整来计算相似度，也可通过机器学习方法进行音频相似性计算。

声源分离：与通常只有一个声源的语音信号不同，现实声音场景中的环境声及音乐的一个基本特性就是包含多个同时发声的声源，因此声源分离问题成为一个极其重要的技术难点。??乐中的各种乐器及歌声按照旋律、和声及节奏耦合起来，对其进行分离比分离环境声中各种基本不相关的声源要更加困难，至今没有方法能很好地解决这个问题。

多模态分析：人类对世界的感知都是结合各个信息源综合得到的。因此，对数字音频和音乐进行内容分析理解时，理想情况下也需要结合文本、视频、图像等多种媒体进行多模态的跨媒体研究。;5.2.1麦克风;毫米级驻极体麦克风具有极低的杂散电容、自偏置、可大规模生产、可阵列、可与片上电子器件集成、结构简单且在普通环境中随时间推移极其稳定等特点。

在声控电路、录音机、无线话筒等方面广泛应用，在其生产高峰时每年产量超过10亿个。

由于出色的电荷存储氟碳聚合物的特性，几乎所有商用非硅驻极体麦克风使用碳氟化合物驻极体，例如聚四氟乙烯，且考虑到输入输出阻抗问题，驻极体电容式话筒在工作时需要直流工作电压。;压电式麦克风是用晶体或陶瓷（钦酸钡等材料）作为变换元件，利用压电原理将机械振动从声波信号转换为电信号。在压电式麦克风中，常用用来制造振动隔膜的压电材料是氮化铝和氧化锌。压电式麦克风的优点是灵敏度高、体积小。压电效应是通过变形来产生电荷，除了可以作为声音传感元件，压电效应所产生的电信号还可用于感知运动引起的物理或化学效应。

;;超声波传感器是一种应用超声波技术研制而成的传感器，可以把各种能量和超声波转换成各种形态的装置。

超声波传感器的核心部分是一种能够发出和接收声波的压电片。

超声波探头可以分为直探头、双探头、斜探头等。

超声波沿着一条直线进行传播，其发射频率越高，其反射性能越好。

目前超声传感器的市场份额最大的是电声型传感器和水力型超声波传感器。;超声波接收器的工作原理：

利用发电机中的压电晶体共振来生成声波。常见的压电式超声波传感器内部包括两块压电晶圆和一块喇叭或共振板，当负载的脉冲信号与压电晶圆的自振频率一致时，它们就会发生共鸣，从而引起振荡，因此形成了超声波信号。

反之，在不将脉冲信号导入压电晶圆的两端时，若在扩音器或共振板上检测到超声波，则该扬声器或谐振板将引起振荡，从而使压电晶片产生振动，使物理机械能量转化为电能，而压电晶体在振动时，将会产生电信号，从而使压电晶体的两端产生电信号，这时，超声波发生器就变成了超声波接收器。

;常规脉冲回波超声波传感器，其测距方法包括单程测距法和双程测距法。

单程测距法中传感器信号发射端和接收端分离，信号接收端配置在待测目标处，发射端发射信号，接收端接收信号，根据信号传播速度和渡越时间的乘积，计算获得距离。

距离计算公式：

;二、声呐;一、仿生听觉传感器;三、光纤声音传感器;5.3.1语音信号特点;二、语音识别系统分类;二、语音识别系统分类;三、说话人识别;;一、语音数据预处理;一、语音数据预处理;