Day2Transformer架构应用文档.pdf

专注高效进取共赢

第2部分：Transformer架构的实际应用

大型语言模型

Encoder

很有钱途

languageDecoder

modelwill

makeyourich嵌入（Embedding）

图片来源：https://edi.wang/post/2019/7/10/build-a-simple-matrix-card-in-net-core

我们要让计算机自动完成一句话：“今天天气很______。”生成式语言模型可以通过学习大量的文

本数据（比如新闻报道或者小说），预测下一个可能出现的词汇。

可能的答案包括“晴朗”、“阴沉”、“热”、“冷”等等。

具体地，以Bi-gram为例，我们有这样一个由三句话组成的语料库：

容易统计，“I”出现了3次，“Iam”出现了2次，因此能计算概率：

同理，还能计算出如下概率：

另外提供一个《LanguageModelingwithNgrams》中的例子，Jurafskyetal.,1994从加州一个

餐厅的数据库中做了一些统计：

另外提供一个《LanguageModelingwithNgrams》中的例子，Jurafskyetal.,1994从加州一个

餐厅的数据库中做了一些统计：

另外提供一个《LanguageModelingwithNgrams》中的例子，Jurafskyetal.,1994从加州一个

餐厅的数据库中做了一些统计：

Iwantchinesefood

可疑商品AI结果人工复核

基于人工智能微软全球众包检测

图片/文本的检测仲裁模型人工审核平台报告

基于信息检索的侵权模式匹配基于大模型的侵权检测分析

精筛层通用大模型检测专用大模型检测

（中量级模型）

疑似

侵权通用通用图像文本多模态反

初筛层模式大语言模型多模态模型模型模型模型馈

如GPT-4如GPT-4V

（轻量级模型）相似设计

商品知识产权信息与模式库

知识产权侵权微软Bing专用模型

数据库信息库全球检索训练集

………动态更新信息

商标数据