基于边缘计算的沉浸式.pptx

基于边缘计算的沉浸式VR 崔 勇 清华大学  计算机系 cuiyong@tsinghua.edu.cn 1 VR/AR适当相关应用 精灵宝可梦Go 任天堂和谷歌 通过自动化手机在现实世界里发现精灵，进行抓捕和战斗 房屋装修HouseVR 想看看将来装修好的房子？ 想和设计师一起所见即所得？ HouseVR发展难点 室内模型构造麻烦，设计师？ 家具模型更不易，家具城？ “+互联网” 社交VR Facebook Social VR Avatar 实现Face-to-Face社交 连线型头戴式VR VR的性能需求 极低响应延迟：小于25ms 较高刷新率(FPS)：大于60Hz 复杂的场景：真实环境、全景视角… 社交VR给移动终端和网络传输架构带来了巨大挑战 VR市场问题 VR 市场现状 2016 VR 元年 2017 寒冬将至？ VR市场现状 用户持续增加 商家生产VR设备数持续增多 大品牌居多Google、HTC 寒冬？ 台式VR vs 手机VR 台式机 VR 画质体验好但价格高 移动受到限制 手机 VR 画质体验待优化但价格低 用户可自由移动 市场对比手机VR将成主流？ 数据线限制 VR延时需求 手机VR显示过程 流程复杂导致延迟 延时需求高 延时导致用户晕眩 用户视觉反馈受限 如何克服延时？ 手机VR适当试验 方法1：云端渲染高适当相关质量VR画面发至手机 帧率受带宽波动影响 带宽不足 方法2：手机本地渲染高适当相关质量VR适当相关应用 手机温度过高 用户体验画面卡顿 如何结合两者优势？ 未来的手机VR 将来无线网能带来帮助? 将来硬件能带来帮助? 400Mbps TCP 吞吐量已经包含 27% CPU （在谷歌Pixel 手机中） 高适当相关质量VR帧流的传输需要 大约 6 Gbps的吞吐量 [MoVR, NSDI’2017] CPU/GPU 在高端手机中的进展: 由于电源的约束，发展的非常缓慢 GPU Frequency (MHz) CPU Frequency (GHz) Nexus 4 (2012) Nexus 5 (2013) Nexus 6 (2014) Nexus 6P (2015) Pixel XL (2016) Note 8 (2017) 边缘计算 ＋ 手机VR 传统做法 服务器放在云端延时高 创新思路：边缘计算手机VR 放云端延时高！ 引入边缘计算 (VR服务器) “剪掉绳子”的高适当相关质量VR边缘计算 ＋ 手机VR MIT的Dina尝试采用新型高速无线传输 Enabling High-Quality Untethered VR [NSDI17] 手机VR设备无法提供好的用户体验？ 核心思想：60GHz＋本地缓存 响应性处理产生时延 设备精确性被波长影响 移动中及时加载预测点 60GHz AP 微波反射器 发现手机VR改进点 改进点1: 主要主要内容可分为 前景交互 和 背景环境 改进点2： 前景交互 和 背景环境有可预测性的渲染工作 云朵和山脉 (背景环境) 赛车手 (前景交互) Karts 游戏, Daydream VR 适当相关应用 故障率 可预测性 渲染工作量 前景交互 随机, 不可预测 相对低 背景环境 连续, 可预测的 高 “本地手机”的高适当相关质量VR 微软提出FlashBack Immersive Virtual Reality..[MobiSys16] 手机VR设备无法提供好的用户体验？ 核心思想：预渲染＋缓存预测 用户三维空间-离散点 每一个点-预测缓存 移动中及时加载预测点 Furion 设计第一步 协同渲染 手机GPU → 前景交互 远端GPU → 背景环境 结合它们到手机 关键优势 互作用耗时显著降低 样例输入 Furion 设计第二步 离散化虚拟世界 借 移动时延 去预先取临近的帧 使用 预先渲染 和 预先编码的全景帧 去批处理所有可能的方向 预取临近的全景照片 一般来说, 运动延时≈ 20ms 离散化的虚拟世界 Furion 设计第三步 手机上解码一个全景帧大约需要40ms的延时 并行解码 互作用耗时显著降低并行解码 多核解码，解码时间: ≈ 13ms 改进成果 发热量和性能消耗 30分钟内不会过热发烫 电池消耗平均在410mA 资源使用率 CPU：64~76% GPU：37～63％ 平均带宽127～130Mbps 谢谢！ 崔 勇 清华大学  计算机系 cuiyong@tsinghua.edu.cn 17