网站大量收购独家精品文档,联系QQ:2885784924

常扬-文档解析技术加速大模型训练与应用.pdf

常扬-文档解析技术加速大模型训练与应用.pdf

  1. 1、本文档共43页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

文档解析技术加速大模型

训练与应用

常扬合合信息

演讲嘉宾

常扬

合合信息智能创新事业部研发总监/复旦大学博士

合合信息智能创新事业部研发总监,复旦博士,复旦大学机器人智能实验

室成员,国家级大学生赛事评审专家,发表多篇SCI核心期刊学术论文,

多个学术会议讲师与技术社区AI专家博主,负责合合智能文档处理业务线

的产品、技术、云服务平台研发工作。任职期间,先后主导AI数据清洗平

台、信息抽取产品、智能文档处理云服务平台、智能文档场景落地产品,

为金融、制造、物流等行业提供智能文档处理产品与解决方案,在人工智

能领域具备丰富的技术落地经验和行业场景洞察力。

1.当前大模型训练与应用中的挑战

2.文档解析技术发展与研究内容

目录3.TextIn文档解析技术算法框架

CONTENTS4.基于文档解析技术的大模型应用探索

5.总结与展望

PART01

当前大模型训练与应用中的挑战

研究背景

当前大模型训练与应用过程的关键环节面临的问题

LLMRAG应用中

训练Token耗尽训练语料质量要求高

文档解析不精准

7

更多、更高质量的训练语料的需求–大模型训练

高质量预训练数据跟不上模型的进化

如何高效获取更多高质量数据?

CommonCrawl,C4,Github,LLAMA2:2TTokens

Wikipedia,StackExchange,

互联网GPT4:13TTokens

Huggingface数据集……

书籍、论文等❓❓Markdown

PDF/扫描件

核心诉求

文档元素识别,表格、段落、公式、标题版面正确解析,双栏、三栏、文表混合

转化速度快,上百页PDF阅读顺序还原,避免混乱语序

文档评论(0)

哈哈 + 关注
实名认证
内容提供者

嗨,朋友,我都会用最可爱的语言和最实用的内容,帮助你更好地理解和应对职场中的各种挑战!

1亿VIP精品文档

相关文档