基于字串切分统计词典的繁体中文拼写检错方法 - 计算机应用研究.pdf

第３３卷第５期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ５ 　 　 ２０１６年５月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｙ２０１６ 基于字串切分统计词典的繁体中文拼写检错方法 王　勇，顾　磊 （南京邮电大学计算机学院，南京２１０００３） 摘　要：针对繁体中文拼写检错的问题进行了研究，提出一种基于字串切分统计词典的检错方法。利用语料库 中字串出现的频率信息作为检错依据，根据字串及其频率信息来建立统计词典，并设计了基于统计规则评判的 检错算法。以ＳＩＧＨＡＮ７会议中文拼写校验任务中用于检错评测的１０００句测试集作为实验测试集，并与此会议 提交的结果进行比较，实验结果表明，与基于复杂语言模型的检错方法相比，该方法在实现简单的同时也有很好 的检错效果，获得了较高的准确率和精确率以及较低的误报率。 关键词：中文语言处理；繁体中文拼写检错；中文分词；字串切分；统计词典；混淆集 中图分类号：ＴＰ３９１．１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１６）０５１３７００４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０５．０２１ ＡｐｐｒｏａｃｈｔｏｄｅｔｅｃｔｓｐｅｌｌｉｎｇｅｒｒｏｒｓｏｆｔｒａｄｉｔｉｏｎａｌＣｈｉｎｅｓｅｓｅｎｔｅｎｃｅｓｂｙ ｓｔａｔｉｓｔｉｃｄｉｃｔｉｏｎａｒｉｅｓｂａｓｅｄｏｎｎｇｒａｍｓｅｇｍｅｎｔａｔｉｏｎ ＷａｎｇＹｏｎｇ，ＧｕＬｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｎａｎｊｉｎｇ２１０００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＴｏａｄｄｒｅｓｓｔｈｅｃｈａｌｌｅｎｇｅｔｈａｔｈｏｗｔｏｄｅｔｅｃｔｓｐｅｌｌｉｎｇｅｒｒｏｒｓｏｆｔｒａｄｉｔｉｏｎａｌＣｈｉｎｅｓｅｓｅｎｔｅｎｃｅｓａｕｔｏｍａｔｉｃａｌｌｙ，ｔｈｉｓｐａｐｅｒ ｐｒｅｓｅｎｔｅｄａｎａｐｐｒｏａｃｈｕｓｉｎｇｓｔａｔｉｓｔｉｃｄｉｃｔｉｏｎａｒｉｅｓｂａｓｅｄｏｎｎｇｒａｍｓｅｇｍｅｎｔａｔｉｏｎ．Ｔｈｅａｐｐｒｏａｃｈｗａｓｂａｓｅｄｏｎｔｈｅｎｇｒａｍｉｎｆｏｒ ｍａｔｉｏｎｃｏｌｌｅｃｔｅｄｆｒｏｍｔｈｅｓｔａｔｉｓｔｉｃｄｉｃｔｉｏｎａｒｉｅｓｗｈｉｃｈｗａｓｂｕｉｌｔｂｙｃｏｒｐｕｓ．Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｓｔａｔｉｓｔｉｃｒｕｌｅｂａｓｅｄａｌｇｏｒｉｔｈｍｔｏ ｄｅｔｅｃｔｓｐｅｌｌｉｎｇｅｒｒｏｒｓａｓｗｅｌｌ．Ｒｅｇａｒｄｉｎｇｔｈｅ１０００ｓｅｎｔｅｎｃｅｓｏｆｄｅｔｅｃｔｉｏｎｔａｓｋｐｒｏｖｉｄｅｄｂｙＳＩＧＨＡＮ７ａｓｔｈｅｔｅｓｔｓｅｔ，ｉｔｗａｓｆｏｕｎｄ ｔｈａｔｓｕｃｈａｐｐｒｏａｃｈｇｏｔｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｓｉｎｅｒｒｏｒｌｏｃａｔｉｏｎａｃｃｕｒａｃｙ，ｅｒｒｏｒｌｏｃａｔｉｏｎｐｒｅｃｉｓｉｏｎａｎｄｆａｌｓｅａｌａｒｍｒａｔｅ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｍｅｔｈｏｄｓｂａｓｅｄｏｎｃｏｍｐｌｅｘｌａｎｇｕａｇｅｍｏｄｅｌ，ｔｈｉｓａｐｐｒｏａｃｈｉｓｅａｓｙｅｒｔｏｒｅａｌｉｚｅａｎｄａｃｈｉｅｖｅｓ ｂｅｔｔｅｒｒｅｓｕｌｔｓａｔｔｈｅｓａｍｅｔｉｍｅ． Ｋｅｙｗｏｒｄｓ：Ｃｈｉｎｅｓｅｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ；ｔｒａｄｉｔｉｏｎａｌＣｈｉｎｅｓｅｓｐｅｌｌｉｎｇｅｒｒｏｒｓｄｅｔｅｃｔｉｏｎ；Ｃｈｉｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ；ｎｇｒａｍ ｓｅｇｍｅｎｔａｔｉ