Python中文自然语言处理基础与实战（课件）第8章 文本分类与聚类（第二节）.pptx

文本分类与聚类;;机器学习算法进行文本分类或聚类步骤如下。 首先是数据准备。 接着对特征提取。 进行模型选择与训练。 通过对模型测试。 最后模型融合。 ;;垃圾短信分类的流程包括以下步骤。 数据读取：读取原始短信数据，共有80万条数据。 文本预处理：对原始数据进行预处理，对其进行去重、脱敏和分词等操作。 词频统计：分别统计垃圾与非垃圾短信的词频，随后绘制相应的词云图。由于原始数据量较大，需要对数据进行采样，共抽取了两万条数据进行训练模型及分类。 分类：分别采用两种方式对短信内容进行分类，第一种方式是自定义朴素贝叶斯函数，第二种则是调用Python内置函数实现朴素贝叶斯分类，两种方式的实现步骤基本一致，最终结果将与测试集进行比较，得到模型的分类情况和准确率。 模型评价：使用处理好的测试集进行预测，对比真实值与预测值，获得准确率并进行结果分析。;垃圾短信的数据读取过程如下。 读取原始短信数据。 数据中的垃圾短信共有80000条，非垃圾短信有720000条。 垃圾短信的文本预处理步骤如下。 首先查看数据是否存在缺失值，对其进行去重和脱敏操作。 接着原始数据中的敏感信息用统一字符替换。 通过采用jieba分词切分短信内容，通过自定义词典分词。 然后对分词后的结果过滤停用词。 最后经过处理的数据中存在一些无意义的空列表，对其进行删除。 ;垃圾短信词频统计步骤如下。 首先通过自定义函数统计词频。 接着整合得到词汇序列再进行切分，统计每个词出现的频次。 最后分别对垃圾与非垃圾短信绘制词云图。 垃圾短信使用MultinomialNB函数步骤如下。 首先划分训练集和测试集。 然后利用训练集生成词库，分别构建训练集和测试集的向量矩阵。 最后通过内置朴素贝叶斯函数预测分类。 垃圾短信分类模型评价过程如下。 通过使用处理好的测试集进行预测，对比真实值与预测值，获得准确率并进行结果分析。 ;;新闻文本聚类的流程包括以下步骤。 数据读取：读取文件列表中的新闻文本并给定标签，划分训练集与测试集，读入的每条新闻作为一行，方便后续数据处理及词频矩阵的转化。 文本预处理：每个新闻文本进行jieba分词和去除停用词处理，去除文本中无用的停用词，降低处理维度，加快计算速度。 特征提取：使用scikit-learn库调用CountVectorizer和TfidfTransformer函数计算TF-IDF值，将文本转为词频矩阵。 聚类：根据导入数据类型标签个数，从而定义分类个数，导入训练数据集后通过调用sklearn.cluster训练模型，并保存聚类模型。 模型评价：使用处理好的测试集进行预测，对比真实值与预测值，获得准确率并进行结果分析。 ;新闻文本数据读取步骤如下。 首先读取文件列表中的新闻文本并给定标签。 然后划分训练集与测试集，读入的每条新闻作为一行，方便后续数据处理及词频矩阵的转化。 新闻文本聚类的文本预处理步骤如下。 首先通过自定义函数seg_word对文本预处理的内容进行封装。 接着每个新闻文本进行jieba分词和去除停用词处理。 然后去除文本中无用的停用词，降低处理维度，加快计算速度。 最后分别进行数据的预处理和后续的特征提取。 ;新闻文本特征提取过程如下。 首先调用CountVectorizer函数将文本中的词语转换为词频矩阵。 接着调用TfidfTransformer函数计算TF-IDF权值并转化为矩阵。 最后分别对垃圾与非垃圾短信绘制词云图。 新闻文本聚类过程如下。 首先选取4个数据集，因此，选用4个中心点。 接着进行模型的训练，调用fit函数将数据输入到分类器中，训练完成后保存模型。 最后训练聚类模型并查看模型准确率。 新闻文本聚类的模型评价。 首先输入测试数据进行模型训练，计算测试数据的准确率。 最后使用处理好的测试集进行预测，对比真实值与预测值，获得准确率并进行结果分析。 ;本章节主要介绍了文本分类与聚类基本概念如下。 首先介绍了文本挖掘的概念和应用场景。 接着介绍文本分类和文本聚类常用算法。 随后介绍文本分类与聚类的步骤。 最后实现了文本分类与文本聚类对应的Python案例，分别是垃圾短信的分类和新闻文本的聚类。 ;