《数据挖掘与机器学习》 课件7.1.1 文件读取和jieba分词.pptxVIP

8南宁职业技术学院

NCVTNANNINGCOLLEGEFORVOCATIONALTECHNOLOGY

屈

数据挖掘与机器学习

DATAMININGANDMACHINELEARNING

处理新闻文本数据

新闻文本聚类——聚类分析

文本数据清洗是指对文本数据进行处理，以去除其中的噪声、错误和无

用信息，使得数据更加准确、可靠和适合分析，在文本分析和挖掘领域中具有非常重要的意义。

经过清洗的数据有着更好的数据质量，能够使得后续的数据挖掘更加精准有效，贯彻高质量发展精神。

本任务将对新闻文本数据进行清洗，包括文本读取、分词、去停用词和特征提取。

|任务描述

使用withopen函数读取文本文件。

使用jieba库进行文本分词。

使用stoptxt停用词表去停用词。

使用TfidfTransformer进行文本特征提取。

|任务要求

Part1相关知识

怎么读取文本文件呢?

·read_csv函数可用于读取使用分割符分割的文本文件，这在实际应用中存在很多限制。

·因此想要自由的处理文本文件，还需要其他的办法。

·open是Python内置的一个关键字，用于打开文件，并创建一个上下文环境。

|读取文件

open关键字的基本使用格式如下。

open(file,mode=r,buffering=-1,encoding=None,errors=None,newline=None,|closefd=True,opener=None)

处理新闻文本数据

|读取文件

参数名称

说明

file

接收str,表示要打开的文件的路径和名称，无默认值

mode

接收str,表示文件的读写模式，默认为“r”

buffering

接收int,表示文件的缓冲区大小，默认为-1

encoding

接收str,表示文件的编码格式，默认为None

Open关键字常用参数及其说明

处理新闻文本数据

|读取文件

参数名称

说明

errors

接收str,便是编码错误的处理方式，默认为None

newline

接收str,表示文本模式下的换行符，默认为None

closefd

接收bool,表示是否关闭文件描述符，默认为True

opener

接收函数，表示自定义的文件打开器，默认为None

Open关键字常用参数及其说明

处理新闻文本数据

读取文件

withopen可以说是open的优化用法或高级用法，相比open更加简洁、安全。

open必须搭配close方法使用，先用open打开文件，然后进行读写操作，最后用close释放文件。

withopen则无需close语句，比较简洁。

json是一种轻量级、基于文本的、可读的文件格式。

文件中的部分关键词及其出现频率，储存在词频.json中。

处理新闻文本数据

读取文件

|读取文件处理新闻文本数据

对文本文件进行文件读取主要通过以下4个步骤实现。

使用withopen或open打开文件

使用json.load读取文件

输出读取文件的值

若使用open函数打开，还需要使用close函数关闭

什么是jieba分词?

·汉字是文化自信的基石，学习汉字，推进文化自信自强。

·汉语是以汉字为基本书写单位，词语之间没有明显的区分标记，完整的句子很难进行信息提取，因此在中文自然语言处理中通常是将汉语文本中的字符串切分成合理的词语序列。

·jieba是一个常用的中文分词库，它能够将一段中文文本按照词语进行划分，并且去除停用词等无意义的符号，输出分好的词语列表。

·jieba库在Python中广泛应用于自然语言处理领域，如文本挖掘、有哪些信誉好的足球投注网站引擎、信息检索等。

Ijieba分词

Ijieba分词

jieba库的主要作用有什么呢?

jieba库支持基于

TF-IDF算法和

TextRank算法的

关键词提取，可

以提取出一段中

文文本中的关键

词，用于文本摘

要、信息检索等。

jieba库支持中文词性标注，可以标注出每个词语的词性，如名词、动词、形容词等，方便进一步的文本分析和处理。

用户可以通过添加自定义的词语，来弥补jieba库分词时出现的漏词问题，提高分词

效果。

jieba库内置了一

些常用的停用词

表，可以去除一

些无意义的词语，

避免影响文本处

理的结果。

一段中文文本进行分词，得到分好的词语列表，

方便后续的处理

和分析。

中文分词关键词提取