人工智能 课件 第七章 自然语言处理.pptx

;;;;;;自然语言处理的作用;;;自然语言理解概况;存在与方向

技术主要包括理解句子正确次序规则和概念、词的确切含义及构词法、词的语义分类、多义性、歧义性、问题领域的结构知识、语气信息和韵律表现等。

自然语言理解过程

词法分析涵盖自动分词、词性标注及命名实体识别，句法分析旨在推导句子句法结构，而语义分析则涉及话语含义的理解，涵盖词汇、句子及段落/篇章级分析。;;中国机器翻译发展;;语义型机器翻译系统;;语音识别概况;问答系统是高级信息检索系统，能用准确、简洁的自然语言回答用户问题，涵盖任务型、解答型、聊天型，各类型各有特点。;;智能系统核心;;;;;;;文本预处理是文本分类的重要步骤，包括关键词提取、分词、去除停用词等，其中分词是关键，常采用的方法有字符串匹配、词汇语义分析消歧和统计的条件随机场方法。;传统机器学习分类器;序列到序列学习;;结构预测定义

原始标注

联合标注

词分割

命名实体识别

关系抽取

句子分割

段落分割

语义理解;语义结构预测;原始标注的定义;联合标注的定义;;;;句子分割概述;;;编码器

解码器

编码器-解码器注意力模块

自注意力模块

多头自注意力机制;编码器接收输入序列，将其转换为固定长度的向量，保留关键信息。;;;注意力机制;;模型评价与优化

错误率的定义

精度评估指标

准确率的概念

错误率的解释

召回率的含义

F1评估指标

ROC曲线的介绍

AUC指标的解析;模型上线前评价;感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！

;精度的定义;准确率的概念;精确度的定义;召回率的含义;F1评估指标是精确度和召回率的调和平均数，它提供了更平衡的衡量标准，相较于精确度或召回率，F1值更能全面反映分类器的性能。;ROC曲线的作用;AUC值的范围;文本分类是将文档分类到指定类别的过程，如情感分析、主题分类等，形成了包括特征工程和分类器两部分在内的经典做法。

结构预测则是利用预训练模型对文本中的结构元素进行??注，任务包括分词、词性标注和命名实体识别等。

序列到序列（seq2seq）技术是一种端到端的映射方法，其核心是编码器-解码器架构，在机器翻译、对话系统、自动文摘等自然语言处理任务中得到广泛应用。

串行seq2seq系列架构由RNN模型构成，并行seq2seq系列架构主要由Transformer模型构成。

分类任务性能评估的常用指标包括准确率、精度、召回率和F1评估指标。这些指标具有各自的优缺点，需要根据具体任务选择合适的指标进行评估。;;背景知识

GPT模型

BERT模型

多模态预训练模型

模型压缩

文本生成

本节小结;;什么是GPT模型

无监督预训练

有监督下游任务精调

预处理文本数据

提取文本的特征向量

训练文本分类器

评估文本分类器的性能

ChatGPT的发展;;嵌入层转换：当GPT模型的输入为文本序列时，每个单词都会通过嵌入层转换为向量表示，并输入到TransformerEncoder中进行处理。;;;;;GPT特征提取;;评估分类器性能;;BERT模型概述

BERT模型的主要特点

BERT预训练模型的应用

MLM训练机制解析

自注意力机制概述

多头自注意力机制

自注意力机制的应用

探针实验概述

探针实验的优点

探针实验的局限性;BERT模型概述;BERT模型的主要特点;;MLM训练机制;;在多头自注意力机制中，BERT将输入拆分为多个子空间，每个子空间分别进行计算并产生输出，这样可以捕捉更多的信息。;层间自注意力机制;自注意力机制的应用;;探针实验是一种评估模型内部语言表示的方法，通过插入额外的线性分类器，对模型内部表示进行评估。;;;多模态预训练模型概述

BERT模型与多模态预训练

ClipBERT模型介绍

成功应用案例

ViLBERT模型构建智能助手

Python与PyTorch实现

总结;多模态预训练模型整合视觉、语音和文本数据，提升模型性能和泛化能力。;BERT模型;;成功应用案例;ViLBERT模型构建智能助手;加载模型和Tokenizer：使用Python和PyTorch库，加载预训练的ViLBERT模型和tokenizer，确保模型和tokenizer的名称一致。;多模态预训练模型能够整合视觉、语音和文本等多种数据，提高模型性能和泛化能力。;语言模型高效应用

模型压缩方法

压缩应用与展望

导入所需的库

加载原始BERT模型

创建DistilBERT模型

准备训练数据

对训练数据进行编码

提取BERT模型的输出特征

Dist