ZEGO 即构科技场景化 AI 降噪技术解析.pdf

ZEGO场景化AI降噪 技术解析 QCon 2023全球软件开发北京大会 音频算法处理专家 / 曾爱明 目录 一 、ZEGO 即构科技实时互动 RTI 二 、降噪算法发展经历 QCon 2023全球软件开发北京大会 三 、一般通讯场景下 ，即构 AI 降噪的技术实现 四、音乐场景下 ，即构降噪技术实现 五 、实时语音增强技术展望 一 、ZEGO 即构实时互动RTI QCon 2023全球软件开发北京大会 随着能力的拓新与服务的进步 ，我们意识到即 180P/360P 720P/4K 时通讯RTC已经无法概括所有的线上交流 ，从 最初的VoIP 、RTC1.0 ，到现在的RTC3.0 ，已 能听清的音质 AI降噪/空间音效 QCon 2023全球软件开发北京大会 经有 RT I 的影 子 。随着技 术 与 需求 的共 同推 1v1语聊 万人连麦/元宇宙 进 ，在实时场景下去做到接近现实世界的视听 无状态运营 全球可视化运营 体验 ，更加强调互动 (Interaction) 。 VoIP RTC3.0 实时互动RTI （Real-time Interaction ）代表 ZEGO 能力的总和 ，同时也昭示着未来 钻研的方向：相较于RTC ，并非以信息交互为唯一 目标 ，而是通过数字化的方式 ，让 QCon 2023全球软件开发北京大会 人与人共享时空 ，用可视化服务体系保障更好的互动体验 ，在高效准确的基础之上 ， 满足精神需求 。 QCon 2023全球软件开发北京大会 二 、降噪算法发展经历 QCon 2023全球软件开发北京大会 办公场景 ：键盘鼠标敲击声 、空调声 、远处同事说话声 ，房间混响等 家庭场景 ：厨房碗碟碰撞声 、抽油烟机风声 、水流声 、小孩哭声 、电视背景音等 QCon 2023全球软件开发北京大会 户外场景 ：风噪 、发动机噪声 、胎噪 、雨滴声 、走路声 、汽笛声等 社交场景 ：Babble噪声 、喷麦 、游戏屏幕敲击声 、咳嗽声 、喘气声等 时域法 、频域法 、均方根 奇异值分解和特征值分解 DCCRN、FullSubNet 、 法 、参数法和迭代法 FacebookDenoise 传统降噪算法 AI降噪算法 QCon 2023全球软件开发北京大会 谱减法 维纳滤波法 统计模型法 子空间法 Mask/Mapping 时频域端到端 非线性谱减 、多子带谱 最大似然估计 、最小均方估 Rnnoise 、Percepnet 、 减 、MMSE谱减 、基于 计 、最大后验估计 、Bayes DTLN 掩蔽模型的谱减 估计 传统算法 ： AI 算法 ： • 环境适应能力差 • 环境适应能力强 • 性能开销小 • 性能开销大 QCon 2023全球软件开发北京大会 • 实时性好