唇形合成语音与唇形语音识别.ppt

唇形;;口唇解剖图;;根本知识;国际音标表;唇读(lip-reading/speech-reading),是指通过观察说话者的口型变化,“读出”或“局部读出”其所说的内容.研究唇读目的是利用视觉信道信息补充听觉信道的信息,以提高计算机系统的理解力.

;计算机唇读;唇读的识别方法;交叉学科;国外研究现状;国外的研究现状;;各种唇读系统比较;国内言语工程方面比较关注多模态的人机交互研究，包括语音和情感的合成识别等相关方面的研究。做的比较好的有：清华大学电子工程系和计算机系、北京大学言语听觉研究中心，中科院自动化所、科大讯飞、微软亚洲研究院等。;唇读流程;图像采集;检测与定位;特征提取;基于模型;基于像素;混合特征;识别方法;对唇形研究内容分为四个局部：

1〕建立语音多模态库；语音、唇位、采集图片、语音〔资源库〕

2〕建立唇形处理平台；矩形框、边缘、修改

3〕对语音、唇位参数提取和数据分析，建立统计模型；

4〕研究不同生理信号之间的关系，进行语音产生各相关层面的理论与方法研究，并建立语音驱动的唇型模型合成。〔长远目标〕用参数驱动合成;研究内容;研究内容;研究内容;研究内容;;;ThankYou!