词法器的实现与设计讲述.doc

题目： 词法分析器的设计与实现 一、引言 3 二、词法分析器的设计 4 2.1词的内部定义 4 2.2词法分析器的任务及功能 5 2.2.1任务 5 2.2.2 功能： 5 2.3单词符号对应的种别码： 6 三、词法分析器的实现 6 3.1主程序示意图： 7 3.2函数定义说明 7 3.3程序设计实现及功能说明 8 3.3.1关键字 8 3.3.2关键字的定义 8 3.3.3符合的关键字的查找 8 四、词法分析程序的C语言源代码： 8 五、 结果分析： 11 摘要：词法分析是中文信息处理中的一项基础性工作。词法分析结果的好坏将直接影响中文信息处理上层应用的效果。通过权威的评测和实际应用表明,IRLAS是一个高精度、高质量的、高可靠性的词法分析系统。 众所周知,切分歧义和未登录词识别是中文分词中的两大难点。理解词法分析在编译程序中的作用，加深对有穷自动机模型的理解，掌握词法分析程序的实现方法和技术，用c语言对一个简单语言的子集编制一个一遍扫描的编译程序，以加深对编译原理的理解,掌握编译程序的实现方法和技术。 Abstract: lexical analysis is a basic task in Chinese information processing. The results of lexical analysis will directly affect the effectiveness of the application of Chinese information processing. The evaluation and practical application show that IRLAS is a high precision, high quality and high reliability lexical analysis system. It is well known that segmentation ambiguity and unknown word recognition are the two major difficulties in Chinese word segmentation. The understanding of lexical analyse the program at compile, deepen of finite automata model for understanding, master lexical analysis program implementation method and technology, using C language subset of a simple language compilation of a scanned again compiler, to deepen to compile the principle solution, master compiler implementation method and technology. 关键词：词法分析器?扫描器?单词符号?预处理 Keywords: lexical analyzer word symbol pretreatment scanner 一、引言 运用C语言设计词法分析器，由指定文件读入预分析的源程序，经过词法分析器的分析，将结果写入指定文件。本程序是在Visual?Studio环境下，使用C语言作为开发工具。基于实验任务的内容及目的，实现初步的需求分析，具备词法分析器的基本功能和整体构架。逐步细化其功能，做到相应模块的具体化。画出未成熟的流程图，确定整体设计的走向，在一定范围内约束编程活动，确保没有大的问题及缺陷存在，然后通过将来的具体的编程设计完善流程图。完成计算机翻译过程的关键阶段,它为后面的语法分析、语义分析做好准备,打好基础,以便快速地、高质量地生成目标语言程序。 二、词法分析器的设计 由于我们规定的程序语句中涉及单词较少故在词法分析 阶段忽略了单词输入错误的检查而将编译程序的重点放在中 间代码生成阶段$词法分析器的功能是输入源程序输出单词 符号$规定输出的单词符号格式为如下的二元式%!单词种别 单词自身的值# 2.1词的内部定义 对常量，变量，临时变量，保留关键字（if,while,begin,else,do等)、关系运算符、逻辑运算符、分号、括号等,规定其内部定义如附表所示 2.2词法分析器的任务及功能 2.2.1任务 就编译器基本结构而言，词法分析（lexical analysis）是编译过