试验报告.docVIP

试验报告 实验名称：采用TFIDF自动对文本进行形式化 试验目的 1．加深对文本形式化的理解，掌握文本形式化的方法。 2．熟练掌握TFIDF算法，掌握如何计算权值（wij）。 3．在理解TFIDF算法基础下，编写程序实现该算法。 4．对某方面的文本运用该算法计算，并分析结果。 第2章 试验的软硬件平台 indows 2000 sp4 工具软件：Microsoft Visual Studio 6.0 第3章 试验数据说明Principles of Data Mining.pdf的第5页至第24页，共计20页内容。每页内容作为一个文本，这样文本集中的文本数量为20。这20个文档存储在text目录下。文本命名： p00.txt， p01.txt, ……, p19.txt。 输入数据之二：文本形式的术语集。该术语集存储在text目录下vo.txt中，每行一个术语（词汇）。可自行编辑。 输出数据：文本集的矩阵表示。程序运行当前目录下输出文本mm.txt。 矩阵格式说明： 文档编号 总词数 词汇 权值 词出现次数 文档频率 文档编号0 661 词汇A 0.016018 4 2 词汇B 0.004214 23 18 …… …… …… …… 文档编号1 713 词汇A …… …… …… 词汇B …… …… …… …… …… …… …… …… …… …… …… …… 文档编号n 599 词汇A …… …… …… 词汇B …… …… …… …… …… …… …… （注：词出现次数——词在该文档中出现次数，文档频率——词在几篇文档中出现， 权值精确到小数点后六位。） 第4章 试验内容））tfij）：文档i中词汇j出现的频率。本试验中，某个文档中某词频的计算采用如下公式：tfij =词汇j在文档i中出现的次数/文档的总词数。需要说明的是，文档的总词数统计含重复出现的词汇，例如，本试验中“in Schools in America”总词数计为4。 文档频率Document Frequency(dfj)：多少个文档包含词汇j。 tfidf权值（wij）：wij = tfij * log(d/dfj) 其中d是文档的数目。本试验中文档数目为20，即d=20。本试验的算法实现并没有考虑词频的归一化处理。 2、程序流程设计： 二 、详细试验过程 1、程序设计实现 学习tfidf的相关知识，在此基础上理解公式，编写算法实现程序。程序计算文本集中所有出现的单词的tfidf权值Wij。在不输入术语集的情况下，输出所有单词的权值。在输入术语集的情况下，仅输出给定术语的权值。 数据结构：试验程序设计采用二叉树的链式存储作为文本集存储的数据结构。 权值排序示例画树形图 权值从大到小依次为：左儿子节点——节点——右儿子节点 主要函数： Ttree *createTtree(Ttree *root,FILE *fp) 创建二叉树用来存放单词，以及该词在文档中出现的次数/计算词频 Ttree *SearchBinTtree(Ttree *rootx,Ttree *rooty) void InMidThread(Ttree *rooty,Ttree *rootx) 计算文档频率——词在几篇文档中出现 void InThread(Ttree *root,Ttree *Mroot) 计算权值 void weight(Ttree *root) 对权值进行排序，二叉树节点插入过程 bool in(char data[20]) 判断某词是否在词汇集中 void ThreadWeight(Ttree *root) 权值输出，从大到小顺序 2、输入术语集的选取 针对本试验的输入数据，20个文本均来自于MIT-Principles of Data Mining.pdf，我们可以知道这20个文本应该属于数据挖掘类，可初步判断文档必然具有一定的相似性，即都与数据挖掘有关。因此，我们对术语集的选取也从能否表现文档的类特征角度出发。 第一步，我们不设定术语集（删除text\vo.txt），即按照程序设计想法对每个文本的所有词汇依次输出权值。观察并记录试验输出结果。 第二步，我们选取WEIGHT、 degree和behavior这三个术语作为术语集，这三个术语在20个文本中的出现频度并没有普遍规律。如，weight这个词只出现在文本16和文本17中，它的在数据挖掘类的某些文本内容中出现较为频繁，但并不是在所有文本中普遍出现。除weight外，其它两个术语与