词法分析识别五类单词符.docVIP

词法分析识别五类单词符 计算机092—07 邹芬芬 实验目的 设计完成正则文法所描述的Pascal 语言子集单词符号的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即关键字、其他标识符、整型常数、运算符、界符五大类。并在文本文件中依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）1） 给出各单词符号的类别编码； 2） 词法分析程序应能发现输入串中的错误； 3） 词法分析作为单独一遍编写，词法分析结果为二元式序列组成的中间文件； 4） 设计两个测试用例（尽可能完备），并给出测试结果。 待分析的简单语言的词法 关键字： begin,end,if,then,else,for,do,while,and,or,not 所有的关键字都是小写。 运算符和界符： 其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义： ID=letter(letter|digit)* NUM=digit digit* （4） 空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。 2） 各种单词符号对应的种别码 表1 各种单词符号对应的种别码 单词符号 种别码 单词符号 种别码 begin 1 16 end 2 = 17 if 3 18 then 4 = 19 else 5 : 20 for 6 := 21 do 7 / 22 while 8 /* 23 and 9 + 24 or 10 - 25 not 11 * 26 letter (letter | digit)* 12 ; 27 digit digit* 13 ( 28 14 ) 29 = 15 词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列组成的中间文件。 其中：syn为单词种别码； token为存放的单词自身字符串；算法的基本任务是从字符串表示的源程序中识别出具体独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 1）主程序示意图 主程序示意图如图1所示。其中初值包括如下两个方面： 图1 （1）关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下： Char *rwtab[11]={begin,end,if,then,else,for,do, while,and,or,not}; （2）程序中需要用到的主要变量为syn,。2） 扫描子程序的算法思想 首先设置个变量：用来存放构成单词符号的字符串； syn用来存放单词符号的种别码。 ‘#’字符用于标示字符串结束)： 输出文本： ( 1,begin) ( 12,x) ( 21,:=) ( 13,9) ( 27,;) ( 3,if) ( 12,x) ( 18,) ( 13,0) ( 4,then) ( 12,x) ( 21,:=) ( 13,2) ( 26,*) ( 12,x) ( 24,+) ( 13,1) ( 22,/) ( 27,;) ( 2,end) ( 0,# ) 测试样例2 begin a := 2; b := 1; if(a = b) then a :=3; else then b :=2; end# 测试结果： 输出文本： ( 1,begin) ( 12,a) ( 21,:=) ( 13,2) ( 27,;) ( 12,b) ( 21,:=) ( 13,1) ( 27,;) error error error ( 3,if) ( 28,() ( 12,a) ( 19,=) ( 12,b) ( 29,)) ( 4,then) ( 12,a) ( 21,:=) ( 13,3) ( 27,;) ( 5,else) ( 4,then) ( 12,b) ( 21,:=) ( 13,2) ( 27,;) ( 2,end) ( 0,# ) 5. 心得体会 通过这次用C语言对词法分析程序的编制，回顾了C语言的编程方法，加深了对词法分析原理的理解和词法分析的实现过程，掌握