快手可图大模型的技术演进与应用探索-快手+李岩.docx

1

快手可图大模型

技术揭秘与应用探索

专题：多模态大语言模型的前沿应用与创新

2024.08.18中国上海

主讲人：快手可图大模型负责人李岩

3

主要内容

l可图大模型介绍

l可图大模型技术讨论一：怎样选择合适的文本表征

l可图大模型技术讨论二：什么是RLHF的关键因素

l可图大模型技术讨论三：怎样让大模型写好中国字

l可图大模型技术讨论四：怎样做好虚拟试穿

l视觉生成方向的未来展望

4

主要内容

l可图大模型介绍

l可图大模型技术讨论一：怎样选择合适的文本表征

l可图大模型技术讨论二：什么是RLHF的关键因素

l可图大模型技术讨论三：怎样让大模型写好中国字

l可图大模型技术讨论四：怎样做好虚拟试穿

l视觉生成方向的未来展望

可图大模型介绍(1/11)–快手自研大模型体系全景图

5

可图大模型介绍(2/11)–可图可灵傻傻分不清楚

=

+

可灵AI平台国内版：；可灵AI平台海外版：

6

7

可图大模型介绍(3/11)–最懂中文的文生图大模型

可图大模型介绍(4/11)–内外部人工评测结果

n内部评测结果：/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf

n外部评测结果：/#/leaderboard/multimodal?kind=t2i8

9

可图大模型介绍(5/11)–可图大模型正式开源

l官网地址：https://kwai-kolors.github.io/

lGithub项目地址：

/Kwai-Kolors/Kolors

lHuggingFace模型地址：

https://huggingface.co/Kwai-Kolors/Kolors

l技术报告地址：

/Kwai-

Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf

7月6日，快手高级副总裁、主站业务与社区科学负责人盖坤（于越）在世界人工智能大会（WAIC）上宣布，快手旗下的文生图大模型可图（Kolors）将全面开源。可图（Kolors）支持中英文双语，生成效果比肩Midjourney-v6水平，支持长达256字符的文本输入，具备英文和中文写字能力。目前，可图（Kolors）已在HuggingFace平台和GitHub上线，包括模型权重和完整代码，供个人开发者免费使用。WAIC2024官网

10

可图大模型介绍(6/11)–国内外开源社区反响

GitHub平台Fork和Starred情况HuggingFace平台Kolors基座模型下载情况

11

可图大模型介绍(7/11)–国内外开源社区反响

HuggingFace平台Model和Space趋势热榜Bilibili平台有关可图Kolors的教程

12

可图大模型介绍(8/11)–国内外开源社区反响

微信用户群创作者反馈Bilibili平台部分可图内容封面

13

可图大模型介绍(9/11)–可图插件生态逐步完善

可图Kolors大模型插件生态逐步完善，目前IP-Adapter-Plus，IP-Adapter-FaceID-Plus，ControlNet-Canny，ControlNet-Depth，ControlNet-Pose，Inpainting模型，Dreambooth-LoRA训推代码均已发布

14

可图大模型介绍(10/11)–可图开源背后的思考逻辑

李彦宏：开源模型是智商税

“有些个外行甚至混淆了模型开源和代码开源这两个概念。模型开源你拿到的是一大堆的参数，你还是要去做SFT，还是要去做安全对齐，你不知道这些参数是怎么来的，你是无法做到“众人拾柴火焰高”的，即使你拿到对应的源代码，你也不知道他用了多少数据，用了什么比例的数据去训练这些个参数，所以拿到这些东西并不能够让你站在巨人的肩膀上去迭代和开发。”

stability.ai

l一季度收