RTE和AI融合生态洞察报告2024-RTEInfoQ.pdfVIP

和融合

RTEAI

生态洞察报告

RRTTEEAANNDDAAIICCOONNVVEERRGGEENNCCEEEECCOOSSYYSSTTEEMM

IINNSSIIGGHHTTSSRREEPPOORRTT

前言

2024年，AI与实时互动技术的结合达到了前所未有的高度，推动了行业的发展与变革。5月，OpenAI发布了GPT-4o，并展示了其对话功

能，仿佛电影《HER》中的智能助手走入了现实生活。紧随其后，6月，a16z发布了关于语音AI的展望报告，详细分析了这一市场的巨大潜

力，并为未来的语音AI发展绘制了蓝图。之后，其他行业领军企业如Cartesia和BessemerVenturePartners也纷纷发布了自己的洞察报告，

深入探讨了语音AI和实时互动技术的前景。

进入2024年10月，OpenAI宣布与Agora、Twilio等实时互动技术公司展开合作，同时，国内各大科技公司也陆续公布了在对话AI、多模

态AI、语音AI等领域的技术布局和市场战略。这一切都标志着实时互动技术与AI的结合进入了一个全新的发展阶段。

随着这两项技术的深度融合，我们已经看到它们在多个领域和场景中展现出巨大的应用潜力，也赋予了智能体越来越可用的能力，语音助

手可以帮助用户打电话、操作终端设备；AI能为用户提供情感陪伴；而能够纠正语音的口语陪练也让学习更加个性化和高效。这些创新的应用

让智能体变得愈加智能、实用和贴近用户需求。

在这一背景下，RTE开发者社区与InfoQ研究中心联合发布了本份报告，旨在深入探讨实时互动技术与AI结合的现状、挑战与未来趋势。

我们希望通过这份报告，为行业从业者、技术开发者以及创新者们提供有价值的洞察，帮助他们更好地理解技术融合的机遇与挑战，推动技术

落地与应用创新。

本报告专注于探索如何利用实时互动技术与AI相结合，来提升用户体验，以及社区是如何帮助VoiceAgent生态建设和发展的。我们相

信，这些洞察将为行业的持续创新和发展提供重要参考。

前言

前言实时互动（RTE）行业定义回顾

在报告的开头，我们再次回顾实时互动（RTE）的定义。实时互动（RTE）是远程互动、多维沟通、身临其境的交互活动。对互联网技术架

构提出更高要求，其特性主要体现在实时性和互动性两个方面。

实时互动（RTE）以实时性和互动性为核心特点

实时性

实时接入实时传输实时交互实时渲染

实时互动

（Real-TimeEngagement）

互动性

互动网络互动设备互动组件互动场景

来源：信通院《实时互动产业发展研究报告2022》；声网研究院《实时万象——声网带你探寻实时互动的边界》

前言实时互动（RTE）行业定义回顾

01

CONTENT实时互动与AI行业技术演进观察与分析

02