[编译原理第4讲.ppt

温故知新 2.5 词法分析器的生成器 用Lex建立词法分析器的步骤 2.5 词法分析器的生成器 Lex程序包括三个部分 声明 ％％ 翻译规则 ％％ 辅助过程 Lex程序的翻译规则 p1 {动作1} p2 {动作2} … … pn {动作n} 2.5 词法分析器的生成器 例---声明部分 %{ /* 常量LT, LE, EQ, NE, GT, GE, WHILE, DO, ID, NUMBER, RELOP的定义*/ %} /* 正规定义 */ delim [ \t \n ] ws {delim}+ letter [A ?Za ? z] digit [0?9] id {letter}({letter}|{digit})* number {digit}+(\ .{digit}+)?(E[+\?]?{digit}+)? 2.5 词法分析器的生成器 例---翻译规则部分 {ws} {/* 没有动作，也不返回 */} while {return (WHILE);} do {return (DO);} {id} {yylval = install_id ( ); return (ID);} {number} {yylval=install_num( );return (NUMBER);} “ ” {yylval = LT; return (RELOP);} “ = ” {yylval = LE; return (RELOP);} “ = ” {yylval = EQ; return (RELOP);} “ ” {yylval = NE; return (RELOP);} “ ” {yylval = GT; return (RELOP);} “ = ” {yylval = GE; return (RELOP);} 2.5 词法分析器的生成器 例---辅助过程部分 install_ id ( ) { /* 把词法单元装入符号表并返回指针。 yytext指向该词法单元的第一个字符， yyleng给出的它的长度 */ } install_num ( ) { /* 类似上面的过程，但词法单元不是标识符而是数 */ } 用 Lex 定义常规表达式 2.5 词法分析器的生成器 Lex中重要的外部变量 yytext : 外部字符数组，其内容是当前被某个规则匹配的字符串 yyleng : 当前yytext中的字符的个数 例： [a-zA-Z]+ printf(“word= %s, length=%d”, yytext, yyleng)； 另外[a-zA-Z]+ printf(“%s”,yytext);可以简写成 [a-zA-Z]+ ECHO; 2.5 词法分析器的生成器 Lex中识别规则二义性处理 能匹配最多字符的规则优先 能匹配相同数目的字符的规则，书写顺序在前的优先 eg： integer keyword action ...; [a?z]+ identifier action ...; 当输入为integers时，匹配[a?z]+ Lex中识别规则二义性处理 假设需要计算输入文本中she和he的个数 she {s++; REJECT;} he {h++; } \n | . ; “|”表示本行采取的动作和下面一行采取的动作相同。 2.5 词法分析器的生成器 简单的例子 删除输入中每行结尾处所有空白符 %%? [ \t]+$ ; 如果要将字符串中的空格或者制表符转换为单个空格，需要增加一条规则： %%? [ \t]+$ ; [ \t]+ printf(“ ”); 2.5 词法分析器的生成器 简单的例子——在每行前面插入行号 int yylineno=0; %% ^(.*)\n printf(%4d\t%s, yylineno++, yytext); %% main() { yylex(); } 2.5 词法分析器的生成器 int num_lines = 0, num_chars = 0; %% \n ++num_lines; ++num_chars; . ++num_chars; %% main() { yylex(); printf(# of lines = %d, # of chars = %d\n ,num_lines,num