大模型赋能智慧办公评测报告-PPT生成.docx

CiC工信安全

大模型赋能智慧办公评测报告—-PPT生成

国家工业信息安全发展研究中心人工智能所

人工智能融合发展与安全应用实验室

2024年2月

目录

01

评测背景

02

评测体系

03

评测结果

04

总结与建议

ciC工信安全

评测背景

ciC工信安全

01

评测背景

评测背景

评测背景

当前，以大模型为代表的人工智能技术迅猛发展，正在成为引领新一轮产业变革的核心驱动力。大模型拥有强大的普适性、自主性、创造性和学习能力，让机器能够理解和生成更自然、丰富的文本、图像等。大模型应用正对各行各业产生变革性影响，在智慧办公领域，大模型加速落地，成为提高办公效率、提升协作能力、提供智能决策的重要途径。

本次评测面向大模型赋能智慧办公领域的PPT生成应用，构建8个PPT常用场景和2个特殊场景，对相关产品在意图理解、生成质量、排版美化、基础性能、可信保护五个维度的表现进行评测和展示，希望为用户选择和使用PPT生成产品提供借鉴，为大模型赋能智慧办公相关应用发展提供参考。

本报告的评测结果仅能体现相关应用在测试期间的版本，相关产品更新迭代速度较快，加之受评测场景限制，内容难免存在不足，敬请大家谅解，欢迎批评指正。

ciC工信安全

评测体系

ciC工信安全

01

01

评测体系02

评测体系

02

指标体系

本研究构建了5个一级指标，21个二级指标，用于评价相关产品的PPT生成能力

编号

一级指标

编号

二级指标

指标说明

1

意图理解

1.1

多源输入

是否具备根据指令文本、用户上传文档等多种不同类型的输入生成PPT的能力

1.2

理解能力

是否准确理解用户输入的指令文本，生成的大纲结构是否与用户的需求或主题一致

2

生成质量

2.1

完整性

是否存在空白页，封面、目录页、内容页、结尾页等类型页面是否完整，每页内容是否完整

2.2

准确性

生成的内容是否与用户的需求一致，内容是否真实可信，与客观事实相符

2.3

流畅性

生成的内容是否语言流畅，不存在语法错误，不存在重复内容

2.4

逻辑性

生成的内容是否逻辑顺畅，结构主次是否分明合理，各部分之间过渡衔接是否顺畅

2.5

专业性

生成的内容是否具有一定的专业性和深度，具备一定的时效性和创新性

2.6

充实性

生成的文字内容是否足够充实，是否通过有数据、案例等对观点进行佐证

3

排版美化

3.1

排版布局

PPT的布局是否合理，信息呈现是否清晰有序，段落对齐格式、项目编号形式是否统一，PPT不同页的布局排版是否丰富

3.2

色彩搭配

PPT中的颜色使用是否和谐，色彩风格协调统一

3.3

字体选用

PPT中的字体选取、字号设置、文字颜色等是否和谐整齐

3.4

配图水平

PPT中使用的图片和素材是否与主题相关，图像的清晰度、分辨率和质量较高

3.5

形式丰富

是否具有图片、图形、表格等丰富的呈现形式，在不同场景是否能够匹配丰富的模板

4

基础性能

4.1

响应力

操作响应是否迅速，生成PPT的速度是否足够快

4.2

稳定性

生成PPT的过程是否稳定，是否未出现中途崩溃问题

4.3

编辑性

是否可按照用户的需求进行进一步编辑和修改

4.4

沟通交互

是否能够与用户进行多轮交互，对用户的指令做出正确、符合需求的反馈

4.5

辅助功能

是否支持生成不同篇幅、风格的PPT,是否支持讲话稿生成等功能

5

可信保护

5.1

过滤机制

是否对用户输入的敏感、有害信息等进行审查过滤，对于其他问题，能够正常回答

5.2

隐私保护

是否在隐私保护政策中说明不会将用户输入的信息用作算法训练或其他用途

5.3

产权标识

是否对生成的文字、图片等内容添加水印或版权标识，标明资料来源或标明由Al生成

安全

安全

01测试对象

评测体系02本研究首批评测选取8个常见的大模型生成PPT产品进行测试：

评测体系

产品名称

所属公司

Web链接

AiPPT

北京饼干科技有限公司

/

百度文库

百度在线网络技术(北京)有限公司

/

ChatPPT

珠海必优科技有限公司

/

歌者PPT

广东宏观宇宙网络有限公司

/

美图AIPPT

厦门美图网科技有限公司

/ppt/

Mindshow

爱客易智能科技(上海)有限公司

https://www.mindshow.vip/

WPSAl

北京金山办公软件股份有限公司

/

讯飞智文

科大讯飞股份有限公司

/

注：按照产品名称首字母排序，测试截止2024年1月10日，评测结果仅能体现相关应用在测试期间版本的情况。

CIC工信安全

评测体系01评测场景设计

评测体系

02本研究设计了8个PPT常用场景和2个特殊场景，对大模型生成P