基于统计专用字符的维、哈、柯文文种识别研究.pdf

第29卷第2期 中文信息学报 V01．29，No．2 Mar．，2015 2015年3月 CHINESEINFORMATIONPROCESSING JOURNALOF 文章编号：1003—0077(2015)02—0111-07 基于统计专用字符的维、哈、柯文文种识别研究 买买提依明·哈斯木1’2，吾守尔·斯拉木1，维尼拉·木沙江1，努尔麦麦提·尤鲁瓦斯1 (1．新疆大学信息科学与工程学院，新疆多语种重点实验室，新疆乌鲁木齐830046； 2．和田师范专科学校，计算机科学系，新疆和田848000) 摘要：在Unicode编码方案中维、哈、柯文字符安排在阿拉伯字符区域，三种语言中共享字符比较多，跟阿拉伯字 符区域混在一起，没有专用的语言ID。在信息检索和自然语言处理领域对维、哈、柯文的识别、处理带来不便。该 文首先分析并总结了维、哈、柯文三种语言中的专用字符、复合字符、某些字符在某种语言中出现形势的独特性等 特征，然后在此基础上设计了维、哈、柯文种识别算法。实验结果表明该文提出的文种识别算法的正确率在文本多 于70词时达到96．67％以上。 关键词：文种识别；专用字符；复合字符；维文；哈文；柯文；U『nicode 中图分类号：TP391 文献标识码：A CharacterBasedStatistical Identificationfor and Unique Language Uyghur，KazakKyrgyz Hasimul”，WushouerSilamul，Weinila Youliwasil Maimaitiyiming Mush@an91，Nuermaimaiti (1．SchoolofInformationScienceand Information Engineering，XinjiangUniversity，MultilingualTechnology of 830046，China； LaboratoryXinjiang，Urumqi，Xinjiang of ScienceHotanTeachers 848000，China) 2．DepartmentComputer College，Hotan，Xinjiang Abstract：InUnicode and charactersare intheArabicchar— encodingconsortium，Uyghur，KazakKyrgyz arranged actersareaandmixedwithArabiccharacters．Somecharactersinthese sharessamecodewithout languages language ininformationand ID，which retrievalnatural the char— bringsdifficulty languageprocessing．Afteranalyzingunique