《自然语言处理入门》第10章.pptx

第十章文本聚类

第十章文本聚类10.1概述10.2文档的特征提取10.3k均值算法10.4重复二分聚类算法10.5标准化评测10.6总结《自然语言处理入门》

10.1.1聚类《自然语言处理入门》聚类（clusteranalysis）指的是将给定对象的集合划分为不同子集的过程这些子集又被称为簇（cluster），一般没有交集根据元素从属于集合的确定程度，聚类分为硬聚类和软聚类。硬聚类（hardclustering）软聚类（softclustering）

10.1.1聚类《自然语言处理入门》

10.1.2聚类的应用数据预处理排重大众化推荐人工抽查《自然语言处理入门》

10.1.3文本聚类文本聚类（textclustering，也称文档聚类或documentclustering）指的是对文档进行的聚类分析改善有哪些信誉好的足球投注网站结果生成同义词《自然语言处理入门》

10.2文档的特征提取究竟如何将一篇文档表示为一个向量呢？《自然语言处理入门》

10.2.1词袋模型词袋（bag-of-words）是信息检索与自然语言处理中最常用的文档表示模型，它将文档想象为一个装有词语的袋子，通过袋子中每种词语的计数等统计量将文档表示为向量《自然语言处理入门》

10.2.1词袋模型《自然语言处理入门》?

10.2.2词袋中的统计指标?《自然语言处理入门》

10.3k均值算法简单实用的聚类算法k均值算法（k-means）由StuartLloyd于1957年提出《自然语言处理入门》

10.3.1基本原理?《自然语言处理入门》

10.3.1基本原理?《自然语言处理入门》

10.3.1基本原理?《自然语言处理入门》

10.3.1基本原理《自然语言处理入门》

10.3.2初始质心的选取?《自然语言处理入门》

10.3.3更快的准则函数?《自然语言处理入门》

10.3.3更快的准则函数?《自然语言处理入门》

10.3.3更快的准则函数?《自然语言处理入门》

10.3.4实现创建ClusterAnalyzer对象，并向其加入文档《自然语言处理入门》ClusterAnalyzerStringanalyzer=newClusterAnalyzerString();

analyzer.addDocument(赵一,流行,流行,流行,流行,流行,流行,流行,流行,流行,流行,蓝调,蓝调,蓝调,蓝调,蓝调,蓝调,摇滚,摇滚,摇滚,摇滚);

analyzer.addDocument(钱二,爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲);

analyzer.addDocument(张三,古典,古典,古典,古典,民谣,民谣,民谣,民谣);

analyzer.addDocument(李四,爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,爵士,金属,金属,舞曲,舞曲,舞曲,舞曲,舞曲,舞曲);

analyzer.addDocument(王五,流行,流行,流行,流行,摇滚,摇滚,摇滚,嘻哈,嘻哈,嘻哈);

analyzer.addDocument(马六,古典,古典,古典,古典,古典,古典,古典,古典,摇滚);

10.3.4实现?流行蓝调摇滚爵士舞曲古典民谣金属嘻哈赵一1064000000钱二000890000张三000004400李四000960020王五403000003马六001008000《自然语言处理入门》表10-1文本聚类中的词袋向量

10.4重复二分聚类算法重复二分聚类（repeatedbisectionclustering）是k均值算法的效率加强版，其名称中的bisection是“二分”的意思，指的是反复对子集进行二分《自然语言处理入门》

10.4.1基本原理?《自然语言处理入门》

10.4.1基本原理?《自然语言处理入门》

10.4.2自动判断聚类个数k?《自然语言处理入门》

10.4.3实现重复二分聚类算法的实现位于com.hankcs.hanlp.mining.cluster.ClusterAnalyzer#repeatedBisection《自然语言处理入门》

10.5标准化评测本节我们将介绍聚类任务的标准化评测手段，并且给出两种算法的分值《自然语言处理入门》

??《自然语言处理入门》

10.5标准化评测?《自然语言处理入门》

10.5.2语料库?《自然语言处理入门》搜狗文本分类语料库迷你版

├──体育

│└──1.txt

│└──2.txt

│