有哪些信誉好的足球投注网站- 1、本文档共57页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
全方位评测神经网络
模型的基础能力
演讲人：张铭二级教授
北京大学计算机学院博士生导师
mzhang_cs@pku.edu.cn
目录
CONTENTS
01背景与动机02多模态STEM能力评测
03语言与社会规范评测04总结与展望
背景与动机
当前的评测指标缺少了什么？
背景与动机：多模态STEM数据集的缺乏
制造一艘火箭，需要具备哪些能力？
科学技术
（Science）（Technology）
工程数学
（Engineering）（Math）
•STEM能力是解决真实世界中许多重要问题的基础
•模型是否理解多模态STEM科目的能力至关重要
背景与动机：多模态STEM数据集的缺乏
•过去的评测数据集常常只关注专家级别的能力，涵盖的技能过于分散
•缺少针对STEM科目的多模态数据集
背景与动机：社会规范基础能力评测的缺乏
我可以把瓶子扔到草地上吗？
这么做或许并不违反法律
这么做不符合社会规范
•可信可靠的AI系统应当遵循一定的社会规范与习俗（SocialNorms）
背景与动机：社会规范基础能力评测的缺乏
HistoryPhilosoph
y
LanguageSocialNorms…
GeographCivics
y
•大语言模型对人类基础的社会规范的理解能力在它们与人类合作过程中至关重要
背景与动机：社会规范基础能力评测的缺乏
•过去的评测数据集常常只关注于高阶的人类价值观
•缺少数据集用来评测模型对于社会规范形成过程中的基础能力的掌握
解决方案
STEM数据集：评估模型的基础STEM科目的能力
发表于机器学习国际顶会ICLR2024会议
Dataset:https://huggingface.co/datasets/stemdataset/STEM
Code:/stemdataset/STEM
Leaderboard:https://huggingface.co/spaces/stemdataset/stem-leaderboard
Arxiv:/abs/2402.17205
Social数据集：评估模型对于基础社会规范的掌握
发表于自然语言处理国际顶会NAACL2024会议
Dataset:https://huggingface.co/datasets/socialnormdataset/social
Code:/socialnormdataset/socialagent
Paper:/abs/2404.02491
多模态STEM能力评测
百万量级多模态细粒度STEM评测数据集
DatasetMeasuringVision-
LeaderboardPaper
LanguageSTEMSkillsof
NeuralModels
ICLR2024
文档评论（0）