一种中文文档的非受限无词典抽词方法.pdf

中 文 信 息 学 报 第ëï 卷 第ñ 期 J O U R N A L O F C HIN E S E IN FOR M A T IO N PR OC E SSIN G V ol . ëï No .ñ 一种中文文档的非受限无词典抽词方法 金翔宇 孙正兴 张福炎 à 南京大学软件新技术国家重点实验室 南京大学计算机科学与技术系 南京 íëêêôìâ 摘要ö本文提出了一种非受限无词典抽词模型å该模型通过自增长算法获取中文文档中的 汉字结合模式å并引入支持度!置信度等概念来筛选词条 实验表明ö在无需词典支持和利用 语料库学习的前提下å该算法能够快速 !准确地抽取中文文档中的中!高频词条 适于对词条 频度敏感å而又对计算速度要求很高的中文信息处理应用å例如实时文档自动分类系统 关键词ö中文信息处理õ自动分词õ非受限无词典抽词õ汉字结合模式 中图分类号ö¥ ìôë A D o m ain2inde endent D ictio nar 2free Lexical Ac uisition Mod el p y q For Chinese D ocum ent ™©Æ …£Œ 2 ’ µ Æ »Œ 2ÿ…Œ ® ° Æß ¶’2 £Œ « Ÿ « « Ÿ à ‘£‘ ´ ¨£¬œ“£‘œ“ œ“Æœ÷Ãà œ‘ £“ ¥»ŒœÃœ å§ £“‘Õ Œ‘ Ÿ Ÿ «Ÿ – œ £ œÕ ’‘“…Œ £Œƒ ¥ »ŒœÃœ åÆ£Œ …Œ µ Œ…÷“”…‘ Æ£Œ …Œ íëêêôìâ – «Ÿ « Ÿ « Ab stract : ° ƒœÕ£…Œ2…Œƒ ŒƒŒ‘ƒ…‘…œŒ£“2“ Ãÿ…£Ã £ ’…”…‘…œŒ Õ œƒÃ …” “”Œ‘ƒ …Œ ‘»…” £2 – Ÿ — – – “å »…» …Œ‘“œƒ’”£ ”Ã2 …Œ“£”…Œ £Ã œ“…‘» Õ ‘œ £ ’…“ ‘» œ2 œ’““Œ £‘‘“Œ” œ £ »…Œ” – « « — – »£“£‘“”壌ƒ …Œ‘“œƒ’””œÕ “…‘“…£ ”’» £””’ œ“‘£Œƒ œŒ…ƒŒ ‘œ …Ñ“‘»” œ2 œ’““Œ –– £‘‘“Œ”‘œ ‘Ãÿ…£Ã…‘Õ”é•ÿ “…ÕŒ‘””»œ ‘»£‘…‘£Œ £ ’…“ Ãÿ…£Ã…‘Õ” …‘» »… » “ ’Œ2 – « – — « — ‘…÷à £Œƒ ……Œ‘à …‘»œ’‘‘» ”’ œ“‘œ ‘» ƒ…‘…œŒ£“ £Œƒ ‘» ”’ “÷…”ƒ ã“Œ…Œ …Œ Ÿ Ÿ Ÿ –– Ÿ – « ‘“Õ œ œ“ ’”é¥ » Õ œƒÃ “œ œ”ƒ …Œ ‘»…” £ “ £“‘…’ã“à ”’…‘” œ“Ãÿ…£Ã2“ ’Œ 2”Œ”…‘…÷ – – – – – – Ÿ — Ÿ