清华AIGC和ChatGPT发展研究报告1.0(202305)【下(共两册)】.pdfVIP

AIGC发展研究

（1.0版修订号0.92）

评测篇

AIGC评测：5大维度3种方法

•基于开源算法

对影响力较高客观主观

TexthereTexthere

的产品生成内测评测评

容进行相关维•给k(k10)位

度评估有专业背景知

识的测试人员

AIGC评测进行相关维度

指标体系资料评估

调研

•基于各产品官方公开的模型资料、产品特征等进

行相关维度评估

共计26个细分指标

团队已构建动态迭代问题库，万级问题语料对当前典型AIGC产品进行持续评估

文本生成类：纵横捭阖独领风骚

各产品5可测评总分及各维度得分

ChatGPT系：语控人机慧通天地

ChatGPT以类人的对话方式与用户进行多轮交互，可以帮

助完成诸如撰写电子邮件、论文和代码之类的任务。GPT-4

GPT-3.5已支持图像输入，能够理解并表达关于该图像的逻辑想法，

总分：75分具备了一定的常识和意义理解的能力。

亮点：模型迭代速度

模型变通能力

内容专业程度

局限性：难以处理敏感或有争议性的话题

GPT-4

总分：87分无法获取即时信息

定价较高

ChatGPT评测：驾驭语境精妙对话

语义理解上下文连贯逻辑推理生成质量知识广度个性适应性安全与伦理鲁棒性

词义消歧句子间连贯性基本事实推理文本流畅性常识知识用户风格适应过滤恶意内容对抗性攻击抵抗

命名实体理解段落间连贯性逻辑推论能力