行业认知 文献资源库 用ARKit实时捕捉面部动画，Unity推出Facial AR Remote.docx

\o 用ARKit实时捕捉面部动画，Unity推出Facial AR Remote 用ARKit实时捕捉面部动画，Unity推出Facial AR Remote 随着 \o ARKit \t /ARzx/_blank ARKit和iPhone X开始支持Unity，开发者现在可以通过一套易于使用的工具来创建美观且富有表现力的角色。这为江毅冰即将上映的动画短片《Windup》探索了实时木偶操作的魔力。 Unity Labs和《Windup》团队进行了合作，希望看看他们能在多大程度上推动Unity为电影角色实现实时捕捉面部动画的能力。与此同时，Beast House FX的Roja Huchez在混合形状的建模和Rigging上为他们提供了协助。 团队的成果是Facial AR Remote，这是一种通过联网设备直接在Unity编辑器中捕获性能的低开销方式。他们发现Remote的工作流程不仅对动画创作有用，而且对于角色和混合形状建模和Rigging同样非常有用，其提供了一种在Unity中构建自家animoji或memoji类型交互的简化方法。这允许开发者能够在编辑器中迭代模型，无需构建到设备，从而消除了流程中耗时的步骤。 为什么要构建Facial AR Remote 他们认为为电影项目构建新动画工具存在一个新机遇，可以为Unity开启实时动画的未来。通过AR工具进行创作还有一个“酷炫的因素”，而且有机会继续推进Unity的实时渲染。当基本掌握了在编辑器编辑来自手机的数据后，他们团队及办公桌周围的每个人都马上沉浸于操纵角色的乐趣之中。他们看到了这种技术的巨大潜力。最初的实验很快证明了它既有趣又有用。这个项目迅速扩展到当前的Facial AR Remote和功能集。 团队开始着手扩展项目，而Unity的目标是普及开发。他们希望围绕AR混合形状动画的工具和工作流程能够比当前的传统动捕方法更容易使用和更容易获取。Facial Remote允许他们构建为在编辑器中迭代混合形状（无需只是为了浏览手机上的网格变化而构建新版本）构建了一定的工具。这意味着用户能够捕捉一位演员的面部并将其记录在Unity中。这种捕捉可用作迭代和更新角色模型的固定点，或者将动画重新定位到另一个角色，无需重新捕捉与演员的会话。他们发现这个工作流程非常适用于在角色表达和改进各个混合形状。 Facial AR Remote的工作原理 Remote由客户端手机应用程序组成，其中流式读取器充当Unity编辑器中的服务器。客户端是一个轻量级应用程序，它能够利用ARKit的必威体育精装版功能，并通过网络将数据发送至Stream Reader GameObject上的Network Stream Source。借助简单的TCP/IP socket和固定大小的字节流，他们将混合形状，相机和头部姿势数据的每一帧从设备发送至编辑器。接下来，编辑器对数据流进行解码，并实时更新rigged角色。为了消除因网络延迟引起的抖动，流式读取器保留了历史帧的可调缓冲区，以防编辑器落后于手机。他们发现这是一个重要的功能，可以保持预览角色的流畅外观，同时尽可能接近真正的演员姿势。在较差的网络条件下，预览有时会出现丢帧情况，但所有数据仍然会记录来自设备的原始时间戳。 在编辑器方面，他们使用流数据来为预览驱动角色，以及烘焙动画片段。由于他们将来自手机的原始数据流保存到磁盘，因此可以继续在角色上播放数据。由于保存的数据只是来自手机的原始数据流，他们甚至可以将动作重新定位到不同的角色。当你对数据流感到满意时，你可以将数据流烘焙到角色的动画片段。这很棒，因为它们可以像Unity中的任何其他动画一样使用你创作的剪辑来驱动Mecanim，Timeline的角色。 “Windup”动画演示作品 随着“Windop”的技术演示作品渲染完成，团队能够使用这些高质量的asset来开始他们的动画探索。由于他们能够相当快速地启动和运行基线，他们有大量的时间来使用他们开发的工具迭代混合形状。抖动，平滑化和形状调整很快成为了项目的主要关注领域。通过计算帧速率之间的连接和帧处理中的延迟，以及从播放中移除相机移动，他们优化了用于抖动的解决方案。移除相机移动的能力确实能令用户专注于捕捉混合形状，并使他们能够将手机安装在支架上。 理解混合形状并充分利用ARKit中的混合形状锚点是最需要进行迭代的方面。从文档中很难理解不同形状的细节。最终表达的大部分都来自于角色的风格化，以及形状如何以某种预期的方式结合在一起。他们发现，通过限制混合形状变化对面部特定区域的影响，可以改善眼睛/脸颊斜视形状和嘴部伸展等形状。例如，脸颊斜视对下眼皮几乎没有影响，斜视下的眼皮对脸颊几乎没有影响。 利用Skinned Mesh Renderer中的信息来查看构成任何帧中表达的