基于行业专有词典的TFIDF特征选择算法改进.PDF

第３４卷第７期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．７ ２０１７年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１７ 基于行业专有词典的ＴＦＩＤＦ特征选择算法改进 １，２ １ １ １ １，２ 张齐勋 　刘宏志 　刘诗祥 　贾　堂　曹　健 １（北京大学软件与微电子学院　北京 １０２６００） ２（北京大学信息科学技术学院　北京 １００８７１） 摘　要　　行业专有词典是收录特定行业专有用语的词典，将行业专有词典运用到基于ＴＦＩＤＦ的特征选取算法 中可提高文本特征空间的完备性。基于ＴＦＩＤＦ的改进算法的核心目标是提取出低频的关键词，现有的基于统计 特征的改进方法增加了原始算法的计算复杂度，降低了算法的效率。针对这一问题，在原始的ＴＦＩＤＦ特征选取 算法上采用词典映射的方法提取低频关键词来构建完备的特征空间。实验结果表明，基于行业专有词典的ＴＦ ＩＤＦ算法提取出的特征较未使用行业专有词典特征选取算法提取出的特征在后续的二次聚类验证实验中能有效 地提高聚类的查全率和查准率。 关键词　　行业专有词典　ＴＦＩＤＦ　特征空间　特征选择算法 中图分类号　ＴＰ３９１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０７．０５１ ＩＭＰＲＯＶＥＭＥＮＴＯＦＴＦＩＤＦＦＥＡＴＵＲＥＳＥＬＥＣＴＩＯＮＡＬＧＯＲＩＴＨＭＢＡＳＥＤ ＯＮＩＮＤＵＳＴＲＹＰＲＯＰＲＩＥＴＡＲＹＤＩＣＴＩＯＮＡＲＹ １，２ １ １ １ １，２ ＺｈａｎｇＱｉｘｕｎ 　ＬｉｕＨｏｎｇｚｈｉ　ＬｉｕＳｈｉｘｉａｎｇ　ＪｉａＴａｎｇ　ＣａｏＪｉａｎ １（ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅａｎｄＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ，ＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０２６００，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００８７１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｎｉｎｄｕｓｔｒｙｐｒｏｐｒｉｅｔａｒｙｄｉｃｔｉｏｎａｒｙｉｓａｄｉｃｔｉｏｎａｒｙｏｆｉｎｄｕｓｔｒｙｓｐｅｃｉｆｉｃｔｅｒｍｓ，ｉｔｃａｎｉｍｐｒｏｖｅｔｈｅ ｃｏｍｐｌｅｔｅｎｅｓｓｏｆｔｈｅｔｅｘｔｆｅａｔｕｒｅｓｐａｃｅｂｙａｐｐｌｙｉｎｇｔｈｅｉｎｄｕｓｔｒｙｐｒｏｐｒｉｅｔａｒｙｄｉｃｔｉｏｎａｒｙｔｏｔｈｅｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ ｂａｓｅｄｏｎＴＦＩＤＦ．ＴｈｅｋｅｙｇｏａｌｏｆＴＦＩＤＦｂａｓｅｄｉｍｐｒｏｖｅｄａｌｇｏｒｉｔｈｍｉｓｔｏｅｘｔｒａｃｔｌｏｗｆｒｅｑｕｅｎｃｙｋｅｙｗｏｒｄｓ．Ｔｈｅｅｘｉｓｔｉｎｇ ｉｍｐｒｏｖｅｄｍｅｔｈｏｄｂａｓｅｄｏｎｓｔａｔｉｓｔｉｃａｌｆｅａｔｕｒｅｓｉｎｃｒｅａｓｅｓｔｈｅｃｏｍｐｕｔａｔｉｏｎａｌｃｏｍｐｌｅｘｉｔｙｏｆｔｈｅｏｒｉｇｉｎａｌａｌｇｏｒｉｔｈｍａｎｄｒｅｄｕｃｅｓ ｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅａｌｇｏｒｉｔｈｍ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｅｏｒｉｇｉｎａｌＴＦＩＤＦｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍａｄｏｐｔｓｌｅｘｉｃａｌ ｍａｐｐｉｎｇｔｏｅｘｔｒａｃｔｌｏｗｆｒｅｑｕｅｎｃｙｋｅｙｗｏｒｄｓｔｏｃｏｎｓｔｒｕｃｔａｃｏｍｐｌｅｔｅｆｅａｔｕｒｅｓｐａｃｅ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅ ｆｅａｔｕｒｅｅｘｔｒａｃｔｅｄｂｙＴＦＩＤＦａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｉｎｄｕｓｔｒｙｐｒｏｐｒｉｅｔａｒｙｄｉｃｔｉｏｎａｒｙｃａｎｉｍｐｒｏｖｅｔｈｅｒｅｃａｌｌａｎｄｐｒｅｃｉｓｉｏｎｏｆ ｃｌｕｓｔｅｒ