《电力人工智能自然语言处理模型评价规范》.pdfVIP

ICS 国际标准分类号 CCS 中国标准文献分类号 团 体 标 准 T/CES XXX­XXXX 电力人工智能自然语言处理模型评价规 范 Specification for evaluation of natural language processing model of electric power artificial intelligence （征求意见稿） XXXX-XX-XX 发布 XXXX-XX-XX 实施 中国电工技术学会 发布 T/CES XXX—XXXX 电力人工智能自然语言处理模型评价规范 1 范围 本文件规定了电力人工智能自然语言处理模型的评价指标和计算方法，以及评价流程和方法。 该规范文件适用于对电力人工智能模型在自然语言处理方面的性能评估、效率评估、鲁棒性评估。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件;不注日期的引用文件，其必威体育精装版版本(包括所有的修改单)适用于本文 件。 GB/T 5271.28 信息技术词汇第28部分：人工智能基本概念与专家系统 3 术语和定义 下列术语和定义适用于本文件。 人工智能自然语言处理模型 指利用人工智能技术来处理和理解自然语言文本的模型。这些模型可以用于实现多种自然语言处 理任务，如文本分类、命名实体识别、情感分析、机器翻译、问答系统等型。 4 符号、代号和缩略语 下列缩略语适用于本文件。 ARI：调整兰德系数(adjusted rand index) AP：平均精度(average precision) AUC：曲线下面积(area under curve) BLEU-1：双语评价替换(bilingual evaluation understudy) CS：余弦相似度(cosine similarity) KES：知识抽取速度(knowledge extraction speed) LAS：带标签依存关系准确率(labeled attachment score) MAP：平均精度均值(mean average precision) MIOU：平均交并比(mean intersection over union) MP：平均精确率(mean precision) MR：平均召回率(mean recall) RI：兰德系数（rand index） ROUGE：基于召回率的文本摘要评价（recall oriented understudy for gisting evaluation） RPS：检索吞吐量(retrieval per second) RRT：检索响应时间(retrieve response time) RT：响应时间(response time) TP：真正例(true positive) TN：真负例(true negative) UAS：无标签依存关系准确率(unlabeled attachment score) WP：词语相似度准确率(word precision) 1 T/CES XXX—XXXX 5. 模型基础信息 5.1 模型描述信息 应包括模型开发者、开发语言、开发框架、模型版本、模型类型、模型用途、运行环境、训练数据 集信息，要求如下： a) 模型开发者：模型开发者