浅谈面向元宇宙的技术之——全息视频通话.pdfVIP

浅谈面向元宇宙的技术之——全息视频通话--第1页

近年来，随着数字化办公、“非接触式”服务的广泛普及，音视频通话成为远

程办公过程中主要的沟通方式。然而，音视频通话的画面目前都是二维平面，

存在感官上的距离感。随着显示技术的发展，提供裸眼三维视觉体验的全息技

术在实际应用上取得了较大的突破，并成为业界的研究热点，如谷歌近期研发

的全息视频通话项目ProjectStarline，能让身处异国他乡的亲友、同事、合

作伙伴打破空间的限制，在通话的时候以虚拟影像的形式“坐”在你的面前，

与你自然地沟通交流。ProjectStarline项目的出现引发了业界广泛关注。

一、全息视频通话技术概述

全息视频通话技术是现有二维视频通话的视觉升级版，借助三维重建、实时渲

染、全息投影等技术实现实时面对面裸眼三维视频通话，给用户提供沉浸式

“面对面”的沟通交流体验，且无需佩戴眼镜或头盔。

目前，实现全息视频通话主要有两种技术路线：一种是基于视觉特效的技术路

线，技术上虽然可行，但在使用上有一定的限制要求；另一种是基于三维重建

的技术路线，现阶段仍不成熟。

1.基于视觉特效的技术路线

基于视觉特效的全息视频通话在采集、传输、播放等环节的画面数据都是二维

图像数据，其核心是利用三维视觉增强技术和全息舱显示装置（如图1所示）

来实现三维视觉效果。全息舱是一种透明屏展示柜，柜体前部是一个透明LCD

浅谈面向元宇宙的技术之——全息视频通话--第1页

浅谈面向元宇宙的技术之——全息视频通话--第2页

显示屏，画面的白色区域屏幕不发光显示，观看者可透过屏幕看到柜体内部，

从而获得三维景深的视觉体验。

图1全息舱显示装置

2.基于三维重建的技术路线

浅谈面向元宇宙的技术之——全息视频通话--第2页

浅谈面向元宇宙的技术之——全息视频通话--第3页

基于三维重建的全息视频通话在采集、传输、播放等环节传输的画面数据都是

三维数据,核心是利用软件算法复现三维人物、空间来实现全息视觉效果（如图

2所示）。目前，基于三维重建的全息视频通话在技术上仍不成熟，存在多镜

头数据编解码、实时三维重建等技术难点。两种技术的对比情况见表1。

图2基于三维重建的全息视频通话模型

表1两种技术对比

浅谈面向元宇宙的技术之——全息视频通话--第3页

浅谈面向元宇宙的技术之——全息视频通话--第4页

二、全息视频通话技术在业界的应用概况

目前，基于视觉特效的全息视频通话技术在点对点、多方视频通话以及一对多

直播等场景有相关落地案例，其中，比较典型的案例是2022年冬奥会上张勇与

巴赫的全息会面。2022年2月6日，身处北京冬奥场所的国际奥委会主席巴赫

通过全息舱“现身”2022北京新闻中心展区，与远在上海的阿里巴巴集团董事

会主席张勇隔空“云聚”会面，以全息形态送出奥运寄语，又在“现场”隔空

传递冬奥火炬，如图3所示。

图3国际奥委会主席巴赫通过全息舱送出奥运寄语

浅谈面向元宇宙的技术之——全息视频通话--第4页

浅谈面向元宇宙的技术之——全息视频通话--第5页

基于三维重建的全息视频通话技术目前还不太成熟，尚处于实验室技术原型验

证阶段，代表性的项目是Google于2021年公布的全息视频通话技术Project

Starline。ProjectStarline是一个三维视频聊天室，旨在取代一对一的二维

视频电话会议，让用户有非常真实的现场感，但据用户的现场体验反馈来看，

观看者只能在特定角度、特定距离范围内观看才能体验到立体视频聊天效果，