MR混合现实视频制作课件.ppt

Mixed Reality视频是VR场景影像+人的影像合成的视频。相比普通方法录制的VR视频，Mixed? Reality视频更适合用来做制作宣传视频和直播。 制作过程示意 成片效果示意 Mixed Reality视频含义： 普通的VR视频是第一人称视角录制，是将体验者左眼看到的影像录制下来 在这种视频里是看不到体验者的全身的。 要想拍摄虚拟场景与体验者合二为一的MR视频，需要三个步骤： 切换成第三人称视角? 将体验者的影像也录制下来? 将游戏画面和摄像机影像合成 MR视频的原理： 虚拟相机：定位在手柄上，录制虚拟场景 实体相机：拍摄体验者活动 虚拟相机和实体相机的相对位置和朝向固定。 视频处理：将实体相机拍摄的体验者形象从实际场景中抠出，合成到虚拟相机录制的虚拟场景中。（在合成过程中，体验者在虚拟场景中的位置是通过追踪头盔的位置确定的。） 示意：? 硬件要求：? 名称 规格 成本核算 备注 摄影棚 空间5m*5m*3m，铺满绿布（面积70平米，3墙1底） 750 摄像机（2选1） 网络摄像头(型号：Logitech Webcam C930e)+USB延长线 699 推荐 专业摄像机+视频采集卡 4000+ 高性能主机 CPU：i7-4790以上，显卡980Ti以上 / 已有 第3个Vive手柄+USB延长线 USB3.0 长度5m 100 已有 4K屏幕 4K / 已有 名称 说明 Unity3D + SteamVR 目前只有Unity3D制作的程序支持MR模式。只要游戏用的SteamVR版本是1.0.8或以上，就可以用于拍摄。否则需要升级SteamVR后再发布一个版本。? 视频合成软件 OBS或者其他 软件要求：? 制作过程：? 为游戏开启MR模式? 安装摄像机和第三个手柄? 调整视频合成软件 1. 为游戏开启MR模式 a. Unity SteamVR插件版本升级到或以上? b. 在游戏的根目录（如果用的是Unity3D工程而不是发布好的游戏，就放在工程根目录）下加上externalcamera.cfg新建一个空白文件，重命名为externalcamera.cfg，在其中加上如下内容：? x=0? y=0? z=0? rx=0? ry=0? rz=0? fov=60? near=0.1? far=100? sceneResolutionScale=0.5? ? ?? ?? ?? ?（*要注意的是，以上参数只是默认值。最终要用什么数和摄像机的参数及摄像机和手柄的摆放有关。）? c. 连接第三个手柄：通过USB连接第三个手柄。 如果这三个条件都准备好了，点击开始游戏，PC上的游戏画面会分成4块，具体见下面的OBS合成。 详细说明 2. 安装摄像机和第三个手柄 a. 硬件安装如果有相机肩架或者手架，将摄像机和手柄都安装在架子上。如果没有架子，就把手柄绑在相机上。确保在移动架子（或者相机）的时候，相机和手柄相对位置和相对朝向不变。? b. 计算出摄像机和手柄之间的偏移，也就是得出externalcamera.cfg中的参数。x,y,z是摄像机和手柄的相对位置，rx,ry,rz是相对 朝向。比较方便的做法是通过特制的校准软件来实现。另外也可以手动调externalcamera.cfg中的数值。 ? 用OBS合成视频或视频流 如果准备好Mixed Reality所需要的条件，PC上的游戏画面会分成4块：（图1 ）? a. Foreground: 合成视频的前景? b. Foreground alpha: 前景的alpha c. Background: 合成视频的背景 d Gameview: 正常游戏画面，不用于合成mixed reality视频 最终输出的影像和图2展示的一样，是由三个影像合成的：? 摄像机捕捉人的影像，覆盖在背景上（山和太阳），前景（花）覆盖人和背景上。? 因此要在OBS中添加以下三个视频源： ? a. 前景? I. 视频来源选择裁剪游戏窗口，裁剪区域和4分画面的左上角画面重合。? II. 设置黑色为色键，抠出前景画面? b. 摄像机捕捉? I. 视频来源选择webcamera或者视频采集卡? II.设置绿色为色键（和绿幕颜色一样），抠出人像? c. 背景：视频来源选择裁剪游戏窗口，裁剪区域和4分画面的左下角画面重合。 制作过程：? 图1 图2