一种改进的向量空间模型的文本表示算法 - 重庆理工大学学报.pdf

第３１卷　第１期 重 庆 理 工 大 学 学报（自然科学） ２０１７年１月 Ｖｏｌ．３１　　Ｎｏ．１ ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｊａｎ．２０１７  ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７４－８４２５（ｚ）．２０１７．０１．０１４ 一种改进的向量空间模型的文本表示算法 张小川，于旭庭，张宜浩 （重庆理工大学 计算机科学与工程学院，重庆４０００５４） 摘　　　要：文本表示是将可阅读的文字转换成计算机可识别的数据结构的过程，是文本信息 处理领域中关注的基础性问题。针对向量空间模型中文本表示的ｔｆｉｄｆ算法仅考虑了词项特征 与文档之间的关系，没有考虑与类别关联性的问题，引入数理统计卡方分布方法，以此改进了ｔｆ ｉｄｆ算法，构成为新算法ｔｆｉｄｆｃ。该算法将词项的卡方分布值ｃ作为文本表示的一个因子，用该 θ ｃ值来衡量词项在文本类中分布的差异，并且引入词性因子 ，得到改进向量空间模型的表示文 θ 本。对改进前后的２个算法进行文本分类实验，结果表明：改进后的算法得到了提升，部分解决 了词项特征与类别的关联性。 关　键　词：文本表示；向量空间模型；卡方分布；ｔｆｉｄｆ 中图分类号：ＴＰ３９１　　　　文献标识码：Ａ 文章编号：１６７４－８４２５（２０１７）０１－００８７－０６ ＴｅｘｔＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅｄｏｎＩｍｐｒｏｖｅｄＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌ ＺＨＡＮＧＸｉａｏｃｈｕａｎ，ＹＵＸｕｔｉｎｇ，ＺＨＡＮＧＹｉｈａｏ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ， Ｃｈｏｎｇｑｉｎｇ４０００５４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｅｘｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｔｒａｎｓｆｅｒｓｔｈｅｒｅａｄａｂｌｅｔｅｘｔｉｎｔｏｃｏｍｐｕｔｅｒｉｄｅｎｔｉｆｉａｂｌｅｄａｔａｓｔｒｕｃｔｕｒｅ，ａｎｄ ｉｔｉｓａｆｕｎｄａｍｅｎｔａｌｐｒｏｂｌｅｍｉｎｔｅｘｔｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇｆｉｅｌｄ．Ａｓａｔｅｘｔｒｅｐｒｅｓｅｎｔａｔｉｏｎａｐｐｒｏａｃｈｉｎ ＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌ（ＶＳＭ），ｔｆｉｄｆａｌｇｏｒｉｔｈｍｊｕｓｔｃｏｎｓｉｄｅｒｓｔｈｅｒｅｌｅｖａｎｃｙｂｅｔｗｅｅｎｔｅｒｍｆｅａｔｕｒｅａｎｄ ｄｏｃｕｍｅｎｔ，ｂｕｔｃｌａｓｓ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｅｐａｐｅｒｉｎｔｒｏｄｕｃｅｔｈｅＣｈｉｓｑｕａｒｅｃｏｎｃｅｐｔｏｆ ｍａｔｈｅｍａｔｉｃａｌｓｔａｔｉｓｔｉｃｓ，ａｎｄｐｒｏｐｏｓｅａｔｅｘｔｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌｇｏｒｉｔｈｍ———ｔｆｉｄｆｃ．Ａｎｄｔｈｅａｌｇｏｒｉｔｈｍ θ ｔａｋｅｓｔｈｅｔｅｒｍｃｖａｌｕｅａｓａｆａｃｔｏｒｏｆａｔｅｘｔｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ａｎｄｃｖａｌｕｅｍｅａｓｕｒｅｓｔｈｅｔｅｒｍｄｉｓｔｒｉｂｕｔｉｏｎ ｄｉｆｆｅｒｅｎｃｅｉｎｃｌａｓｓｅｓ，ａｎｄａｌｓｏｃｏｎｓｉｄｅｒｓｔｈｅｔｅｒｍ ｃｈａｒａｃｔｅｒｉｓｔｉｃａｓ ｖａｌｕｅｔｏｐｒｏｄｕｃｅｔｈｅ θ ｃｏｒｒｅｓｐｏｎｄｉｎｇｔｅｘｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｂａｓｅｄｏｎｔｈｅｉｍｐｒｏｖｅｄＶＳＭ．Ｌａｓｔ，ｉｔｃｌａｓｓｉｆｉｅｓｓｈ