复旦大学（张奇）：2024年大语言模型的能力边界与发展思考报告.pdf

大语言模型的能力边界与发展思考

张奇

复旦大学

1

ChatGPT2023年--大模型报税、写诗、写代码,“无所不能”

ChatGPT2023年--大模型“无所不能”

ChatGPT2023年--大模型“无所不能”2023年大家拿着锤子到处找钉子

ChatGPT2024年--大模型落地总是“差一口气”

ChatGPT2024年--大模型落地总是“差一口气”

ChatGPT2024年--大模型落地总是“差一口气”

语言模型无法进行逆向知识有哪些信誉好的足球投注网站，除非知识以逆序出现在预训练数据中

PhysicsofLanguageModels:Part3.2,KnowledgeManipulation，Allen-ZhuZ.,LiY.,Arixv2023MeatAI/FAIRLabs

ChatGPTGPT-o1preview号称物理问答达到“博士：水平

ChatGPTGPT-o1preview似乎也不能很好的解决初中数学问题

•在GSM8K和MATH数据集问题的基础上，加⼊

了⼀些“陷阱”，构造了MathTrap数据集。

•改编后的题⽬很多时候没有定义明确的答案或者⽆

解，只有能够同时理解原题和“陷阱”所涉及知识，

才能找出其中的⽭盾点，发现“陷阱”所在。

•MathTrap_Public上，GPT-o1-preview的回答准

确率仅为24.3%

•MathTrap_Private上，GPT-o1-previewAPI的

测试准确率为38.0%，相⽐GPT-4API

的36.0%，⼏乎没有提升

为什么？

10

从飞机发展史看AI发展的核心问题

11

ChatGPT为什么这么强？

ChatGPT基础理论对于技术发展至关重要

1903年12月17日，世界上第一架载人动力飞机首飞

ChatGPT为什么这么强？

ChatGPT同时期各种脑洞大开的“飞行器”

ChatGPT为什么这么强？

ChatGPT莱特兄弟创造“飞行者一号”的历程

1890年代前期莱特兄弟就从新闻、杂志或者照片上看到了德国航空先驱奥托·李林达尔研制的动力滑翔机

1896年5月，塞缪尔·兰利成功试飞了一架蒸汽动力的无人飞机模型

莱特兄弟认为困扰航空先驱们的飞行难题有三点：机翼、发动机以及如何控制飞机

1899年7月，威尔伯·莱特制作了一架长5英尺，形似双翼飞机的箱型风筝用来测试翘曲机翼技术

莱特兄弟兄弟建造了风洞，为200多种不同翼弧的翼型完成了旋转臂测试（一种测量升力和空气阻力的早期

手段），并对其中的38种做了更详细的测试，同时也对广受认可的升力方程中的斯密顿系数提出了质疑，

当时已经被提出了100多年。

基于展弦比知识和更精确的斯密