大模型落地企业研发的闭环暨《DevData24研发效能基准报告》解读.pdf

大模型落地企业研发的闭环暨

《DevData24研发效能基准报告》核

心数据发布

关钦杰｜思码逸技术咨询总监、研发效能提效专家

1.挑战：LLM落地企业的挑战与应用现状

目录2.认知：DevData24研发效能基准数据

CONTENTS

3.洞察：研发效能基准报告中的数据亮点

挑战：LLM落地企业的挑战与应用现状

大模型AI辅助功能的「使用现状」

代码自动补全功能、智能问答及代码生成功能是企业AI辅助功能应用的三大场景

AI落地企业研发的「三大挑战」

运营培训、结合私有信息、适配实际场景是AI落地企业研发的三大挑战

数据来源：《DevData2024研发效能基准调研报告》

企业应用AI编程工具，研发效能提升了吗？

据说泛功能代码生成工具的最终落地都失败了：

当老板对ChatGPT的兴奋减退……

你们投入了半年时间，

有什么可见的结果？

我们选型的AI编程工具能产生了什么业务价值？

自动补全、生成代码、写

配置文件、写测试、解释

代码、补充需求、添加注

释、设计接口、分析日志、

debug、review……

极大提升了开发者的效率！

AI落地企业研发的闭环

AI落地企业研发需要“以终为始”，做填空题：

使用DevChat后，规范提交比例从____%提高到了____%，从而看清楚了需求、缺

陷和重构工作的占比，优化了资源分配

据此保证了____%研发带宽用于支持业务需求，将需求吞吐率从每月交付____个提

升到____

使用DevChat后，单元测试覆盖度从____%提高到了____%，改进了质量薄弱环节，

降低了质量保障成本

据此将缺陷密度从____‰降低到____‰，发版事故数从____个减少到____

应用AI工具对企业研发效能的影响

效率方面：18%质量方面：23%

应用AI工具比未应用企业的应用AI工具比未应用企业的

需求交付周期更快单元测试覆盖度更高

数据来源：《DevData2024研发效能基准调研报告》

认知：DevData24研发效能基准数

据

DevData24研发效能基准报告

170份有效样本

首次采用客观数据结合主观问卷的

方式。客观数据来自受访企业私有

部署的思码逸DevInsight，采集Git、

Jira等数据。

三个认知域

指标涵盖了《软件研发效能15个指标基准线

度量规范》的三个主要认知统计分析代码生产率、人力均衡

域：度、需求吞吐量、需求交付周期、

交付速率、交付质量和交付