Agent技术在语音助手场景中的应用.pptx

Agent技术在语音助手场景中的应用.pptx

  1. 1、本文档共28页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

DataFunCon#2024Agent技术在语音助手场景中的应用杞坚玮-小米-高级算法工程师

Contents目录Agent简介技术框架未来方向

01Agent简介

LLM-basedAgent以大模型为基础的Agent框架,通常包含三个要素

AgentforAIAssistant在语音助手落地Agent时,我们希望探索一种更面向未来的通用架构让LLM与系统、环境结合得更紧密复用语音助手已有的NLP能力整合现有垂类概念,实现更端到端的体验

02技术框架

Framework为此,我们设计了如下的技术框架:

NLUParserAgent项目在冷启动时缺乏场景信息,大多难以完成规划为此,大多Agent项目会在用户需求的基础上进行扩展例如,AutoGPT会将用户一句话的需求扩展为角色、任务与目标

NLUParser语音助手本身的NLU能力可以作为Prompt构建提供依据传统语音助手的日常工作,就是理解用户请求中蕴含的意图、槽位等信息基于这些信息,可匹配运营准备的模板从而获取可控的启动状态

NLUParser基于更丰富的Prompt模版,模型规划更符合产品需要

PromptManager综合语义理解、知识注入、记忆召回,构建Prompt

PromptManagerPrompt模板包含各阶段的SystemPrompt各场景的预设运营模版

PromptManager接口定义,采用JSONSchema来注入Plugin

PromptManager历史会话需留意尽可能避免将上轮输出结果直接注入到本轮Prompt中,否则十分考验模型的Context能力容易重复生成生成更加稳定

PromptManager输出格式采用ReACT思想,需要LLM给出思考与行动采用JSONSchema格式输出,方便下游解析

PromptManager记忆管理Agent每一步交互可能产生许多信息,若全部注入在Prompt中会浪费大量Token,因此有必要尝试将这些信息维护在agent外部。

PromptManager完整的Prompt构成包含:SystemPromptScenarioPromptUserRequestMemoryAvailableToolsHistoryOutputFormat

ExecutorAPIPlatformExecutor主要负责解析大模型输出,并处理异常情况

ExecutorAPIPlatformAPIPlatform需要隔离大模型与具体业务目标,是支持Plugin热更新仅需在平台上注册新工具,即可在Agent中生效

AgentWorkflow完整的工作流程包含任务规划、执行、总结、反思过程

Optimization生成效果优化在Agent流程中包含多种任务状态,例如任务规划、工具选择、信息总结在对性能有较高要求、模型尺寸有限的条件下,要在一个LLM中同时保证上述能力有一定难度因此,一个可行的方案是在基座模型上分别训练不同的Adapter,分场景调用不同的模型服务Ref:/S-LoRA/S-LoRA

Optimization推理速度优化鉴于LLM输出JSONSchema这类结构化内容,投机采样策略提升2~3倍的推理效率Ref:/blog/2023-11-21-lookahead-decoding/

Evaluation评测指标MetricDescriptionSuccessRateAgent重复执行多次中成功执行的比率,考量整体的稳定性RelativeEfficiencyAgent花费步数与人工执行步数的比值,考量规划的合理性StepSuccessRateAgent成功执行的步数与其花费总步数的比值,考量输出的鲁棒性

Evaluation评测效果我们目前分别构建了时新问答、旅游出行与复杂任务三类评测集EvalSet Samples时新问答旅游出行复杂任务艾尔登法环的DLC什么时候发布9月份去青岛怎么安排比较好庆余年中哪些演员在赘婿中出现过

Evaluation评测效果在这三类评测集上,我们的Agent人工评估效果如下EvalSetOurAgentSRRESSR时新问答 100%90%100%旅游出行 90%90%80%复杂任务 60%70%80%

03未来方向

FutureWork未来希望能在以下方面取得更好的发展:与HyperOS更紧密融合,在手机与汽车上带来更好的使用体验加强Agent跨垂域、跨设备协同能力,应对更复杂的环境与任务提升多模态能力,在机器人场景中发挥更大的作用

感谢

文档评论(0)

优选文档 + 关注
实名认证
内容提供者

专注于发布优质文档,喜欢的可以关注一下哦~

1亿VIP精品文档

相关文档