大模型面试题-37-大模型（LLMs）强化学习——RLHF及其变种面.pdf

大模型（LLMs）强化学习——RLHF及其变种面

来自：AiGC面试宝典

2024年01月27日20:47

•大模型（LLMs）强化学习——RLHF及其变种面

•一、介绍一下LLM的经典预训练Pipeline？

•二、预训练（Pre-training）篇

•2.1具体介绍一下预训练（Pre-training）？

•三、有监督微调（SupervisedTinetuning）篇

•3.1具体介绍一下有监督微调（SupervisedTinetuning）？

•3.2有监督微调（SupervisedTinetuning）的训练数据格式是什么样？

•3.3预训练（Pre-training）vs有监督微调（SupervisedTinetuning）区别？

•四、对齐（Alignment）篇

•4.1简单介绍一下对齐（Alignment）？

•五、ReinforcementLearningwithHumanFeedback(RLHF)篇

•5.1简单介绍一下RLHF流程？

•5.2如何在在预训练好的模型上进行有监督微调？

•5.3如何在有监督微调模型基础上创建一个RM模型？

•5.4如何基于RM模型使用PPO算法微调SFT模型？

•5.5instructGPT的原理，讲讲rlhf和reward？

•六、LLaMA2的RLHF篇

•6.1介绍一下LLaMA2的RLHF？

•6.2LLaMA2中MarginLoss的实现逻辑？

•6.3LLaMA2中两个RM模型的实现逻辑？

•6.4LLaMA2中拒绝采样逻辑？

•七、RLHF替代方案篇

•7.1为什么需要RLHF替代方案？

•7.2RLHF有哪些替代方案？

•替代方案1：ConstitutionalAI:HarmlessnessfromAIFeedback

•替代方案2：TheWisdomofHindsightMakesLanguageModelsBetterInstruction

Followers

•替代方案3：DirectPreferenceOptimization:YourLanguageModelisSecretlya

RewardModel

•替代方案4：ReinforcedSelf-Training(ReST)forLanguageModeling

•替代方案5：RLAIF:ScalingReinforcementLearningfromHumanFeedbackwithAI

Feedback

•八、RLHF实践篇

•8.1RLHF训练过程，怎么选取最优checkpoint？

•参考

一、介绍一下LLM的经典预训练Pipeline？

目前基于Transformerdecoder的LLM，比如ChatGPT、LLaMA、b