2023年AIGC应用app智能化评测报告-月狐.ppt

2023AIGC应用app智能化评测报告月狐数据（MoonFoxData）2024年3月

CONTENTS01研究背景与评估体系介绍0203评估结果与案例展示趋势与展望2

PART01研究背景与评估体系介绍3

研究背景：AIGC产品快速迭代，普及率持续提升?2023年AI大模型迎来创新浪潮，各大厂商密集推出和迭代基于大模型的AIGC应用产品，应用场景覆盖AI对话、写作、学习、媒体创作、办公商务等领域，满足用户多功能需求?与此同时，用户对于AIGC产品的使用兴趣度不断提升，生成式AI普及范围持续扩大，数据显示，截止2023年12月，生成式AI移动应用全网安装渗透率达6.7%，MAU已超2000万，其中文心一言、天工、讯飞星火、豆包等主流app产品用户规模呈现快速增长态势AIGC应用场景图谱截止2023年12月生成式AI移动应用全网安装渗透率6.7%,MAU达2,012.6万对话通用写作辅助办公商务办公通用主流AIGC应用appMAU变化文心一言通义千问豆包讯飞星火笔灵AI写作小鱼AI写作息流AI百度文库钉钉AIWPSAI通义听悟文心一言app天工app豆包app智谱清言app讯飞星火appAI论文写作NotionAIAiPPT美图AIPPT庖丁解文GPTBOTS.AI8006004002000学习/翻译电商设计超会AI摹小仙水母智能设计筑绘通闪剪万彩AI通义舞王吐司TusiArt星火语伴AI口语陪练快问AI法律编程腾讯智影怪兽AI数字人百姓AI妙鸭相机海豚AI学有道速读讯飞智能翻译海瑞智法法小开CodeGeeXCopilot数据来源：月狐iAPP（MoonFoxiApp）；取数周期：2023.07-2023.124

AIGC应用app智能化评估体系介绍?目前市面AIGC产品众多，且底层技术和产品功能的更新迭代速度较快，为此本报告推出AIGC应用app智能化评估体系，旨在通过量化指标测量AIGC应用产品在技术能力、使用体验上的优势，帮助广大用户更直观地了解和选择AIGC产品?AIGC应用app智能化评估体系由基础能力、使用体验、生成质量、智能体能力、安全合规5个一级指标以及23个二级指标构成，其中智能体能力是我们基于大模型技术的必威体育精装版发展趋势所增设的评测维度，智能体是指以AI为核心构建的一个集合立体感知、全域协同、精准判断、持续进化等特征的智能系统，是各家大模型厂商目前着重布局的应用场景，基于智能体功能用户可以按照自己的需求打造出更具个性化的AIGC方案，因此加入智能体能力评测指标，一方面能够更加全方位地测量AIGC应用产品的能力，除了大模型的底层能力之外，也能测量到大模型技术的应用场景落地能力，另一方面能够直观体现国产大模型的必威体育精装版发展进程一级指标二级指标上下文理解能力多模态能力多语言支持内容实时性内容创新性使用成本指标解释是否能理解用户输入的上下文，生成更连贯、具有逻辑性的回答包括绘画、图片解析、语音交流方面的能力对外国语问题的理解和回答情况一级指标二级指标创意写作指标解释包括自媒体、编剧、新闻稿、市场营销、行业分析等方面的文稿创作能力是否能根据指令进行行程重新规划的能力多轮行程规划角色扮演基础能力是否能够支持扮演特定角色，并与用户进行流畅、沉浸式对话的能力包括简单推理、复杂推理、分析/总结/归类、代码编程等能力是否能够提供必威体育精装版的信息、数据逻辑与推理生成的内容是否具备创造性、独否支持代入特定人设（虚拟情侣），与用户进行流畅对话、提供情感支的能力个人用户能否免费使用app产品人际交往相关的情商问题的回应能力根据长字段指令的回应速度、长作图时间等综合评估响应速度括初高中数学题、高数题、复杂计算题等回答情况对历史、政治、文学、物理、生物、化学等学科知识问题的回答情况智能体创建设定条件的多样化，反映用户创建智能体的自由度使用体验安全合规面对异常/未知输入（如在提示词中加入拼写错误的词、近义词等）是否能够准确理解和输出专业知识问答个性化程度稳定性回答真实性输出的内容出现幻觉/不真实情况的频次名人、明星、动漫人物等智能体在形象、声音、语气、性格等方面对本体的还原程度对敏感词的检测严格度智能体能力角色还原度过滤潜在危险/敏感信息，拒绝回答或报错的频次，反映对敏感词检测的严格程度交互沉浸度内容契合度从视、听、说方面智能体是否能给用户带来沉浸的交互体验智能体生成的内容多大程度上与设定的条件特征契合对涉及违法犯罪、道德伦理、隐私财产、个人安全等问题的反应和回答情况不合规问题回应测量模型来源：月狐研究院5

AIGC应用app智能化指数评估方法评分规则测试题库设置?封闭题主要采用接入API的方式进行自动化测试和评分?开放题通过专家团队评分?题目数量：500道?题型：包含封闭题、开放题