中文分词系统在中医药科研中的应用.docVIP

中文分词系统在中医药科研中的应用 　　摘 要：中文分词与数据挖掘技术在中医药领域应用越来越广泛，文章分析比较了目前的常用的几种中文分词算法，采用其中逆向最长匹配算法，以《中医药大词典》为辅助词典，设计开发了适用于中医药科研的中文分词系统，在多项中医药数据挖掘科研工作中得到了广泛的应用。 　　关键词：中文分词；逆向最长匹配算法；中药方剂 　　1 概述 　　中医药是中华民族的传统瑰宝，经过几千年的传承和发展，积累了丰富的临床经验和浩瀚的文献资料，为实现中医药现代化，需要将古今中医药信息资源和现代先进的信息技术相结合。通过应用现代计算机技术对浩如烟海的中医药文献资料进行信息资源处理，可以促进中医药知识的利用转化及传播推广。 　　分词是中文信息处理的基础，对于输入的一段中文，成功的进行中文分词，可以达到计算机自动识别语句含义的效果。中文分词是自动翻译、数据挖掘技术、自然语言处理等信息处理领域的基础环节，长期以来一直是研究的重点。近年来数据挖掘技术越来越受到中医药学者的重视，中文分词在中医药领域也得到越来越广泛地应用。 　　2 中文分词技术的算法 　　现有的分词算法可分为三大类： 基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法[1]。 　　2.1 基于字符串匹配的分词方法 　　基于字符串匹配的分词方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配。基于字符串匹配的分词方法优点是分词速度快，算法简单且易于实现，但是不具备歧义处理能力。 　　2.2 基于理解的分词方法 　　基于理解的分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还处在试验阶段。 　　2.3 基于统计的分词方法 　　基于统计的分词方法对语料中的字组频度进行统计分词，不需要切分词典，因而又叫做无词典分词法或统计取词方法。其理论依据是在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。 　　但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”等，并且对常用词的识别精度差。 　　到底哪种分词算法的准确度更高，目前并无定论。对于任何一个成熟的分词系统来说，不可能单独依靠某一种算法来实现，都需要综合不同的算法。 　　3 运用中文分词系统分析中药用药规律 　　3.1 系统分析与设计 　　数据挖掘技术在医学领域亦具有广阔的应用前景，可用于预测推断手术、临床试验以及药物治疗的效果，在分析中药方剂或古今医案中的用药规律时，也经常运用数据挖掘的方法，而前提之一就是对数以万计的浩瀚文献资料进行预处理，在这个过程中，中文分词系统可以发挥重要的作用。 　　由于中医方剂的基本组成单位为药材，而关于的药材名称在药典里已经做了记载，中药药材的名称相对已经固定，新出现的中药材不多，因此在数据挖掘时根据标准药典作为词典，运用基于字符串匹配的分词方法处理中药方剂用药规律具有天然的优势。一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。综合以上几点考虑，该研究在设计中文分词系统时，采取基于词典的逆向最长匹配算法，系统的流程图如图1。 　　3.2 中药词典的构造 　　由于基于字符串匹配的分词方法是从一个“充分大的”机器词典中进行词条匹配，词典的构造是切词的基础。设计的词典机制和词条的完备率对分词结果的准确性将产生重要影响，词典的性能在一定程度上决定着整个系统的性能[2]。目前构造分词词典主要有三种设计方法：第一种方法，以机器做辅助，主要靠人工输入信息的方式构造词典。第二种方法，从印刷版的词典里获取信息来构造分词词典。第三种方法，通过对语料库的加工处理和分析，抽取相关信息来实现分词词典的设计。 　　该项研究采取的是第二种方法。南京中医药大学编著的《中药大辞典》，全书分上、下、附编三册，上、下册为正文，收载6008味药物及其有关栽培（饲养）技术、药材鉴定、化学成分、药理作用、炮制、现代临床研究等方面的中药研究成果，反映了当代