基于混合现实的3D实时交互系统..docx

基于混合现实的3D实时交互系统摘要本文中描述了一种基于增强现实的实时3D视频会议系统，通过这项技术，使用者以自己的视角观察被编辑过的真实世界，它将身在偏远的地方的合作者呈现到现场中。我们通过估计相机和基准标记间的3D转换来将合作者的形象注册到世界中。我们描述了一种新的从轮廓中获取形状的算法。这种算法能以每秒30帧的速度生成合作者的影响和相关的深度图。当这种虚拟的视觉被添加在真实的景观上时，它将给人一种强烈的印象：合作者就是重建场景的一部分。我们也证明了真实的合作者与虚拟场景的交互。最后，我们考虑了应用有型的AR接口实现真实世界中的使用者和虚拟空间中的合作者的交互。关键字：视频会议、增强现实、基于图像的渲染、轮廓中提取形状、互动一、导言科幻小说已经预示了许多巨大在计算和通信领域的巨大进步。在2001年，一个太空奥德赛，弗洛伊德博士使用可视电话与家人通话。这是一个早期的屏幕可视的2D视频会议。这项技术是现在已是司空见惯。最近，在电影星球大战中描述了3-D全息沟通。在本文中，我们也许是第一个应用计算机图形学创造了全息电话。现有的会议技术有着很大的局限性。只有音频的会议在在对话中失去了重要的视觉线索，这导致了干扰和重叠的增加 [8]，对话者间消除歧义和互动的困难。[14] 传统的2维视频会议改善事宜，但众多的用户动作和手势不能被捕获[13]，参与者之间没有空间的线索而且参与者之间不能进行眼神的交流。参与者只有在屏幕前才能被看到，而且参与人数也是被显示器的分辨率限制的。这些限制破坏通信保真度[34]，和交流的流畅性[10]，并增加干扰和重叠[11]。配套的虚拟环境提供了面对面交谈[4]的共同空间的线索，只是把使用者从真实世界中分离出来。此外，非语言沟通使用传统的化身很难传达，这导致存在感的降低。我们定义了完美的视频化身致使使用者不能区分屏幕中的是真实的人在还是一个远程的合作者。也许与完美的远程展示最接近的目标就是未来办公室的工作。[27] Ogi et al的虚拟的视频化身Mulligan和Daniilidis的工作[23][24].。所有系统都应用了多个相机去重建一个参与者的几何模型。所有的系统使用多个摄像机来构建一个参与者的几何模型,然后使用该模型为远程的合作者生成适当的视图。尽管令人印象深刻,这些系统目前不生成整个3 D模型——不能在虚拟化身周围进行360度移动。此外,由于这些系统的输出是以投影屏幕为媒介的其显示是不可移植的。本文的目标是通过引入增强现实的视频会议系统，提供一个这些问题的解决方案。增强现实技术是指在真实场景中实时的插入由计算机生成的3D内容。见[2],[3]。通常，使用者通过一个前方装有摄像头的头盔显示器来观察世界。视频实时的捕获，修改和传送到观察者的视野中。实质上，我们创造了一个活生生的化身并且通过AR技术来将他显示到真实的世界中。(见图1) 除了创建一个极具吸引力的存在感,这种设施广泛应用于在论文的第一部分,我们回顾以前的工作在基于“增强现实”会议。会议和协作应用程序的范围。支持技术的系统是一个新颖方法在可以实时交互速度下生成任意视图的合作者。在第二部分中,我们描述了算法和证明它在实时沟通应用程序的竞争技术中的一些优势。在论文的第三部分,我们介绍了一些其他我们的技术可以适合的应用场合。这些包括可视化的合作者在虚拟的空间中,和一个新颖方法用户在现实空间与虚拟的合作者,使用有形的用户界面技术。图1观察者通过前方装有摄像头的头盔显示器观察世界我们的系统探测环境中的标记并且在上面加上了一个实时的生动的视频组件，并且其内容可以随着观察者的观察方向调整。二、现有技术Billinghrst 和佐藤第一次探索到AR是如何能被用来支持远程合作和提供视频和非语音交流的工具. 用户佩戴一个轻量级的HMD就可以看到单一的远程用户以一个真实大小的现场虚拟视频窗口出现在真实卡片上.整体效果就是与会者出现在预计的本地用户的真实工作场所.因为卡片是远程参与者的物理表示,我们的合作接口能作为看作为Ishii的有形接口比喻的变种[Ishii97]。用户能安排卡片的空间来创造一个虚拟空间上的会议空间，卡片也是足够小的，足以被轻便的携带，保证了产品的可移植性。用户可以不再被要求呆在桌面而且可以说能在任何地点开会。所以远程的与会者变成了任何世界中环境的一部分，潜在上能达到身临其境的感觉。AR会议接口和传统桌面视频会议有许多别的明显差别。远程用户可以显示为一个真人大小的图像并且可以立刻被显示为一个潜在的任意数量的远程用户。摘要虚拟视频窗口可以恢复协作。最后,远程用户的形象完全就是真正的虚拟相机放置在用户的眼睛里自然观察到的东西。在用户研究中对比了AR会议和传统的音频和视频会议的主题显示出远程用户在AR会议条件较高的存在感，这是一个容易察觉到非言语交际线索