清华大学自动化系：2023预训练大模型与医疗：从算法研究到应用.pdfVIP

预训练大模型与医疗：从算法研究到应用

CONTENTS

1.预训练大模型概述

2.理解大模型的内在机理

3.赋予模型精准性与可解释性

4.医疗领域应用

5.清华探索：数基生命

TsinghuaConfidential|lvhairong@Page2

CHIMA2023

预训练：从大数据到小数据

①关于预训练少量特定领域标注数据

（成本高）

②剖析大模型

大数据（低成本无标注）

③精准可解释微调小模型

（学习特性）

④医疗应用

预训练大模型

（学习共性）

⑤数基生命

1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练；

2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。

TsinghuaConfidential|lvhairong@Page3

CHIMA2023

以英文电子病历后结构化为示例

英文电子病历后结构化

A

①关于预训练

不懂英文

②剖析大模型

英文电子病历后结构化

B

③精准可解释懂英文

④医疗应用英文电子病历后结构化

C

懂英文的医生

⑤数基生命

TsinghuaConfidential|lvhairong@Page4

CHIMA2023

Transformer架构：预训练的基石

①关于预训练

②剖析大模型

③精准可解释

④医疗应用

从word2vec到Transformer

⑤数基生命从context-free到context-aware

TsinghuaConfidential|lvhairong@Pag