利用C提取文本关键词.doc

原理：1、先给本聚类内的所有文档进行分词，然后用一个字典保存每个词出现的次数 2、遍历每个词，得到每个词在所有文档里的IDF值，和在本聚类内出现的次数（TF）相乘的值 3、用一个字典(key是词，value是TF*IDF权重)来保存所有的词信息，然后按value对字典排序，最后取权重排名靠前的几个词作为关键词测试输入如下 ================================ a?奥运?拳击?入场券?基本?分罄?邹市明?夺冠?对手?浮出?水面 a?股民?要?清楚?自己?的?目的 a?印花税?之?股民?四季 a?ASP.NET?自定义?控件?复杂?属性?声明?持久性?浅析 a?运动员?行李?将?“后?上?先?下”?奥运?相关?人员?行李?实名制 a?asp.net?控件?开发?显示?控件?内容 a?奥运?票务?网上?成功?订票?后?应?及时?到?银行?代售?网点?付款 a?某?心理?健康?站?开张?后?首?个?咨询?者?是?位?新?股民 a?残疾?女?青年?入围?奥运?游泳?比赛?创?奥运?历史?两?项?第一 a?介绍?一?个?ASP.net?MVC?系列?教程 a?在?asp.net?中?实现?观察者?模式?，或?有?更?好?的?方法?（续） a?输?大钱?的?股民?给?我们?启迪 a?Asp.Net?页面?执行?流程?分析 a?杭州?股民?放?鞭炮?庆祝?印花税?下调? ================================ 数据还是昨天的数据，但每个文章前面都加了个a，所以这个词的IDF肯定很低，如果单村用词频来提取关键词，这个a肯定被当场关键词了，所以要乘以IDF值来调整特征提取的精度。我们要用程序把上面的文档分成3类，并提取每个类的两个关键词 我给TFIDFMeasure类加了一个GetKeyword的方法，第一个参数是传入几个文档id列表，第二个参数是要在这几个文档里提取几个关键词，下面是使用该方法的代码 //4、初始化k-means算法，第一个参数表示输入数据，第二个参数表示要聚成几个类 WawaKMeans?kmeans?=?new?WawaKMeans(data,?K); //5、开始迭代 kmeans.Start(); //6、获取聚类结果并输出 WawaCluster[]?clusters?=?kmeans.Clusters; StringBuilder?sb?=?new?StringBuilder(); foreach?(WawaCluster?cluster?in?clusters) { ????Listint?members?=?cluster.CurrentMembership; ???? ????//获取该聚类的关键词并打印 ????IEnumerablestring?keywords?=?tf.GetKeyword(cluster.CurrentMembership,?2); ????StringBuilder?sbTemp?=?new?StringBuilder(); ????sbTemp.Append(---------); ????foreach?(string?s?in?keywords) ????{ ????????sbTemp.AppendFormat({0},,?s); ????} ????sbTemp.Append(-------/r/n); ????Console.WriteLine(sbTemp); ????//打印该聚类的成员 ????sb.Append(sbTemp.ToString()); ????foreach?(int?i?in?members) ????{ ????????Console.WriteLine(docs); ????????sb.AppendFormat({0}/r/n,?docs); ????} } 再看GetKeyword方法的实现 ///?summary ///?获取某组文档的关键词 ///?/summary ///?param?name=arr/param ///?param?name=count/param ///?returns/returns public?IEnumerablestring?GetKeyword(Listint?arr,?int?count) { ????//1、给每个文档分词并保存在一个列表里 ????Liststring?allWords?=?new?Liststring(); ????foreach?(int?i?in?arr) ????{ ??????//这里把一个