听觉场景分析的研究进展_吴镇扬.pdf

第6 卷第2 期 电路与系统学报 Vol.6 No.2 2001 年 6 月 JOURNAL OF CIRCUITS AND SYSTEMS June, 2001 文章编号:1007-0249(2001) 02-0068-06 听觉场景分析的研究进展 吴镇扬 张子瑜 李想 赵力 东南大学无线电工程系 江苏 南京 210096 摘要: 本文综述了当前听觉场景分析的研究进展与发展方向 听觉场景分析包含心理听觉场景分析和计算听觉 场景分析 前者揭示了人对声音的心理感知过程以及多声音信息流检测分离的规律 后者的目标是用计算机模仿人 类听觉系统的处理机制 在噪声背景下分析提取所需声音信息 最终使机器具有听觉智能 关键词 听觉场景分析 计算听觉场景分析 中图分类号 TN912.3 文献标识码 A 1 引言 近年来语音信号处理已成为信号处理中最引人注目的研究领域之一 人们期盼着新一代计算机 的人机接口能自如地用语言和人类交流 语音和人类的听觉系统是密切相关的 在研究语音信号本 身的特性及其处理方法的同时 研究人类听觉系统感知语音信息的机理将能进一步促进语音信号处 理的研究 事实上 人类听觉系统对语音信号的感知能力大大地超过了目前的信号处理水平 特别 是在强噪声干扰下 人类能有选择地 听取 所需的内容 即所谓的 鸡尾酒会效应 70 年代以 前 听觉生理学或听觉心理学在人耳的低层次检测分离上取得了较大的成功 例如 耳间时间差 耳间声级差以及耳蜗的滤波特性等 但是 在听觉与环境有关的生态研究进展远不如视觉那样大 70 年代以后 听觉研究转向了更深的层次 如双耳效应 听觉的空间定位与跟踪以及多信息流的分离 等 90 年代初 加拿大McGill 大学的心理学家Albert S. Bregman 总结了二十年的研究成果出版了 听 [1] 觉场景分析(Auditory Scene Analysis) 一书 他沿用了视觉的场景分析的概念 提出了听觉场景分 析的一系列理论 通过巧妙设计的实验 该书就人类听觉系统多信息流的检测分离给出了一系列的 准则 这一研究结果不仅引起了心理学家的重视 更引起了从事信息处理学者们的重视 他们试图 利用听觉感知的研究成果建立模型 并用计算机来实现它 使听觉场景分析应用到机器智能中 让 机器具有智能的听觉 这就是计算听觉场景分析 目前对听觉场景的分析研究有两种方法 一种从人的听觉生理及心理特性出发 研究人在声音识 别过程中的规律 即听觉场景分析(Auditory Scene Analysis ASA) 另一种利用对人听觉感知的研究 成果建立模型 对模型进行数学分析并用计算机来实现它 这就是计算听觉场景分析(Computational Auditory Scene Analysis CASA)所研究的内容 2 基于听觉心理学的听觉场景分析 经过大量的研究 Bregman 认为人对声音的 感知过程也就是对声音分量的组合过程 而正 是这一种组合过程使得人可以将混合声音中同 一人所发出的声音分量组合到同一个声音流 中 大致说来 有这么两种组合的原则 1) 同时组合(Simultaneous Organization) 这 种组合是将同时存在的不同频率范围的声音分 图 1 声音流的频谱分解与合成示意图(A, B 和C 都是纯音) 收稿日期 2000-10-19 修订日期 2001-02-21 基金项目 国家自然科学基金(合同号 资助项目 第2 期 吴镇扬等 听觉场景分析的研究进展 69 量组合在一起 如图 1 所示 由单音A 与两个单音B C 组成的复音所构成的循环声音流 A 的频率最高 B 其次 C 最低 B C 同时开始 同时结束 在每次循环中 A 在时间上先于 B