IndustryCorpus2.0-多语种多行业预训练数据与指令数据集构建.pdf

IndustryCorpus2-多行业多语种大模型预

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

训练与指令数据集构建

史晓峰

北京智源人工智能研究院算法研究专家

史晓峰

北京智源人工智能研究院，算法研究专家

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

多年算法开发和研究经验，曾在头部互联网公司负责亿级产品的有哪些信誉好的足球投注网站算法的研究和应用，主要

方向为有哪些信誉好的足球投注网站和多模态。近年来，专注于大模型领域，主要方向为LLM和LMM的模型行业应用

和落地，涉及数据集构建，模型训练，领域适配等相关方向的研究和探索。近期主导构建了全

球规模最大的多语种多行业文本预训练数据集IndustryCorpus系列和多行业指令数据集

IndustryInstruction。在医疗、教育、金融，汽车等多个领域进行了模型训练和相应开源工作，

相关模型和方案已经投稿AAAI，相关数据和模型在推动行业模型应用和落地方面取得了显著

成果，不完全统计各数据集在huggingface平台已累计70k+下载量。

1.IndustryCorpus2预训练数据透视与构建方案

目2.IndustryInstruction指令数据特点与构建方案

C

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

O3.行业大模型训练与效果分析

N

T

E

4.《AI大模型行业数据集全景扫描》解读

录N

T

S5.SummaryandQA

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

IndustryCorpus2数据透视与构建方案

为什么需要行业数据

在当前大模型时代，大模型已经进入第二阶段（产业落地），行业模型在推动智能化转型和创新发展中发挥着至关

重要的作用，高质量的行业数据是提升大模型性能和实现行业应用落地的关键。

现状愿景