远程沉浸式自然交互.PDF

第 12 卷第 2 期 信息技术快报 Vol.12 No.2 Information Technology Letter Apr. 2014 远程沉浸式自然交互 黄美玉 尹苓琳 纪雯 张博宁 王向东 陈益强 摘要：本文提出了沉浸式视频自然交互的概念和应用场景，同时介绍了几种能够加强沉浸式自然交互的方 法，研究其中的关键技术。具体内容包括：通过准确的视频对话人提取和多个视频对话人的统一虚拟场景 融合，实现不同空间位置的远程视频交互，使参与者犹如身处同一个虚拟会议室，以排除空间隔离感，增 强沉浸式体验；通过矫正用户视频镜头中的头部姿态和视线方向，实现远程视频交户中的自然眼神交流； 通过 QoE 模型研究远程视频交互时视频传输的自适应调整问题，保证在带宽不对称、终端不一致的情况下 的高质量远程视频交互；通过采用远距离语音采集，支持多人任意参与远程语音互动，实现清晰连续、具 有方向和距离感的高保真沉浸式音频交互。 关键字: 沉浸式 视线矫正 抠像 QoE 模型 高保真音频 1 v 5 1 引言 6 5 0 以高速交互的视音频应用为基础、以人和家庭为中心的物联网电视正走进人们的生活。 0 沉浸式视频交互以自然的操控方式将远方世界更逼真地拉入眼前，并提供信息服务。远程沉 . 5 浸使分布在不同地点的使用者能够在同一虚拟空间协同工作，创造出“比亲自到对方现场还 0 6 要好”的环境。沉浸式视频交互将以一种新型的交互方式满足现代人对快节奏、个性化、高 1 质量生活的追求。 0 2 未来视频会议将会结合音 : 沉浸式自然交互 v 频、视频、投影、通信等一系列 i 技术来加强视频沉浸感，突显交 自然 面对面 沉浸 X a 互的自然性。当人们进入视频会 n 议房间时，无需在固定位置开启 技 术 支 撑 i h 视频设备建立连接，随时随地便 计算机 音频 通信 投影技术 c 可与对方进行远程视频交互。摄 视觉技术 处理技术 传输技术 像头如同对参与者随时跟踪，将 自然眼 精准前 高保真 三维效 自适应 多角度可调节画面传送给对方。 神交流 景抠像 音频 果呈现 QoE 同时，传送过来的数据通过投影 逼真虚 实结合 技术、虚拟场景融合技术，将对 方人像立体呈现在参与者身边。 图1. 沉浸式自然交互技术支撑点 音频技术将收集处理参与者音 频信号。参与者无论处于房间何处，与对方的交流都如同带上了耳麦那样清晰。未来人们可 以在房间内并发地进行自己的工作和参加视频会议。视频会议将以一种“面对面”、无干扰 的自然方式渗入人们的生活。总之，这种所谓“沉浸式自然交互”指的是在不打扰用户原始