计算机科学与技术毕业论文——汉语分词技术分析.pdf

兰州商学院

本科生毕业论文（设计）

论文（设计）题目：汉语分词技术初探

学院、系：信息工程学院

计算机科学与技术系

专业（方向）:计算机科学与技术

年级、班：

学生姓名：

指导教师：

2011年5月18日

声明

本人郑重声明：所呈交的毕业论文（设计）是本人在导师的指导下取得的成果。对

本论文（设计）的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。因本

毕业论文（设计）引起的法律结果完全由本人承担。

本毕业论文（设计)成果归兰州商学院所有。

特此声明

毕业论文（设计）作者签名:

年月日

汉语分词技术初探

摘要

所谓汉语分词，就是将中文语句中的词汇切分出来的过程。由于汉语

的书写习惯，汉语语句中词与词之间的标志是隐含的，英文的单词与单词

之间有空格，所以不存在分词问题.而中文的每一句中，词与词之问是没有

空格的，因而必须采用某种技术将其分开。

分词技术作为自然语言处理的基础环节，同时也是关键环节之一，它

的质量好坏直接影响到后续处理步骤的效果。汉语分词工作看似细微，但

作为计算机自然语言处理的第一步，它的关键作用是不容忽视的。如今汉

语分词己成为自然语言处理的研究热点与难点。

本文讨论了中文分词的概念、目标及其所面临的一些基本问题，详细

介绍了三种基本中文分词算法，并对中文分词词典的索引及常用词典结构

进行了介绍，最后说了正向最大算法的实现及测试结果。

［关键词］中文分词最大匹配分词词典自然语言处理

I

ABSTRACT

Chinesewordsegmentation，istocutthesentenceintheVocabularysub—outprocess．Since

thewritinghabitsofChinese，Chinesesentencesymbolbetweenwordsisimplied．theEnglish

wordshavethespacesbetweenthewords，Sothereiseasytoseparate．TheChinesewordfor

eachsentence，thereisnospacebetweenwords，andthereforemustbesomekindoftechnology

toseparatesentence．Chinesesentencesegmentationalgorithmfromthe20thcentury，sincethe

80’Shasbeenaresearchfocus，duetothecomplexityoftheChineselanguagehasbeenina

stageofdevelopment