DeepSeek与RAG行业轮动策略.pptx

提纲03结果分析02RAG01DeepSeek

DeepSeek-R1：强大的推理能力资料来源：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning,中信建投DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAIo1正式版。Model#TotalParams#ActivatedParamsContextLengthDownloadDeepSeek-R1-Zero671B37B128KDeepSeek-R1671B37B128K??HuggingFace??HuggingFace

Pretraing资料来源：DeepSeek-V2:AStrong,Economical,andEfficientMixture-of-ExpertsLanguageModel,中信建投Multi-HeadLatentAttention(MLA)通过低秩联合压缩技术，显著减少了推理时的键值缓存和训练时的激活内存，同时保持了与标准多头注意力机制相当的性能。MLA的核心在于对键、值和查询矩阵进行低秩压缩，并通过旋转位置编码引入位置信息，从而在高效推理的同时捕捉输入序列中的复杂特征。MOE（MixtureofExperts，专家混合）旨在通过多个专家（Experts）模型的协同工作来提高计算效率和模型性能。在MOE结构中，不是所有的专家都参与计算，而是通过一个门控机制来选择少数几个专家进行推理或训练

ColdStartSFT资料来源：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning，中信建投纯强化学习方案（DeepSeek-R1-Zero）存在结果可读性差、语言混合等问题基于DeepSeek-V3-Base，使用少量的标记文本（数千个）进行冷启动SFT（DeepSeek-R1）数据格式: |special_token|reasoning_process|special_token|summaryreasoning_process为CoT推理过程summary为最终推理结果DeepSeek-R1在后续RL训练中引入了语言一致性奖励（V2,V2.5时存在中英混杂的问题）

Reasoning-orientedReinforcementLearning利用GroupRelativePolicyOptimization(GRPO)进行训练。奖励函数：准确性奖励:准确性奖励模型评估响应是否正确。例如，在具有确定结果的数学问题中，模型需要以指定的格式（例如，在框内）提供最终答案，从而能够可靠地通过基于规则的验证来检查正确性。同样，对于LeetCode问题，可以使用编译器根据预定义的测试用例生成反馈。格式奖励:除了准确性奖励模型，还采用了一种格式奖励模型，它强制模型将思考过程放在think和/think标签之间资料来源：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning,中信建投

RejectionSampling，SupervisedFine-TuningandReinforcementLearningforallScenarios资料来源：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning,中信建投当面向推理的RL收敛时，利用模型生成后续轮的SFT数据，这一阶段包括来自其他领域的数据，以增强模型在写作、角色扮演和其他通用任务中的能力。推理数据：60万非推理数据：20万最后，为了进一步使模型与人类偏好保持一致，DeepSeek实施了一个次级强化学习阶段，旨在提高模型的帮助性和无害性，同时完善其推理能力。

数据资料来源：中信建投技术指标囊括了短期动量、中期动量、MACD（异同移动平均线）、RSI（相对强弱指数），以及布林带等技术指标研报数据采用东方财富网发布的策略研究报告摘要，摘要格式统一、篇幅适中，有效规避了冗长文本处理的问题新闻数据集采用聚源新闻数据库，汇聚了来自主流财经网站的新闻资源，涵盖了超过500,000条精心筛选的财经新闻文章。包