第三章词法分析(第二周).pptVIP

第三章 词法分析 概述 编译程序首先是在单词级别上来分析和翻译源程序的。 词法分析的任务是：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号，把作为字符串的源程序改造成为单词符号串的中间程序。 词法分析是编译的基础。执行词法分析的程序称为词法分析器。 内容线索 对于词法分析器的要求 词法分析器的设计 正规表达式与有限自动机 词法分析器的自动生成 词法分析器的功能 单词符号表示形式 词法分析器输出的单词符号常表示成二元式： (单词种别, 单词符号的属性值) 单词种别是语法分析需要的信息 单词符号属性值则是编译其它阶段需要的信息,简称单词值。 例. 语句const i=25,yes=1，其中，单词25和1的类别都是常数，其值分别为25和1； 分类方法 单词种别:通常用整数编码。 一个语言的单词符号如何分类，分成几类，怎样编码取决于处理上的方便。 标识符一般统归为一种。 常数则宜按类型（整、实、布尔等）分种。 关键字可视其全体为一种，也可以一字一种。采用一字一种的分法实际处理起来较为方便。 运算符可采用一符一种的分法，但也可以把具有一定共性的运算符视为一类。 至于界符一般用一符一种的分法。 单词符号的属性 单词符号的属性是指单词符号的特征或特性。属性值则是反映特性或特征的值。 标识符的属性值是存放它符号表项的指针或内部字符串； 常数的属性值是存放它的常数表项的指针或二进制形式； 关键字、运算符和界符是一符一种，不需给出其自身的值。 例. 代码段 while (i=j) i--; 词法分析结果 while , － ( , － id , ptr-i = , － id , ptr-j ) , － id , ptr-i －－ , － ; , － FORTRAN编译实例 FORTRAN编译程序的词法分析器在扫描输入串 IF (5·EQ·M) GOTO 100 后，它输出的单词符号串是： 词法分析程序的实现方式 完全独立方式：词法分析程序作为单独一遍来实现。词法分析程序读入整个源程序，它的输出作为语法分析程序的输入。 编译程序结构简洁、清晰和条理化 相对独立方式：把词法分析程序作为语法分析程序的一个独立子程序。语法分析程序需要新符号时调用这个子程序。 优点：避免了中间文件生成，可以提高效率。 内容线索 对于词法分析器的要求 词法分析器的设计 正规表达式与有限自动机 词法分析器的自动生成 词法分析器的结构 预处理工作包括对空白符、跳格符、回车符和换行符等编辑性字符的处理，及删除注解等。 单词符号的识别：超前有哪些信誉好的足球投注网站 关键字识别 例. 在标准FORTRAN中四个合法句子： 1、DO99K = 1,10 2、IF(5.EQ.M)I = 10 3、DO99K = 1.10 4、IF(5) = 55 单词符号的识别：超前有哪些信誉好的足球投注网站 标识符的识别 多数语言的标识符是字母开头的“字母/数字”串，而且在程序中标识符的出现后都跟着算符或界符。因此，不难识别。 常数的识别 对于某些语言的常数的识别也需要使用超前有哪些信誉好的足球投注网站。 算符和界符的识别 对于诸如C++语言中的“+ +”、“- -”，这种复合成的算符，需要超前有哪些信誉好的足球投注网站。 状态转换图 大多数程序设计语言中单词符号的词法规则可以用正规文法描述。如： 标识符→ 字母|标识符字母|标识符数字 整数→数字|整数数字 运算符→+|－|×|÷… 界符→; |, |( | )|… 利用这些规则识别单词符号的过程可用一张称为状态转换图的有限方向图来表示，而状态转换图识别单词符号的过程又可以方便地用程序实现。 状态转换图定义 转换图：是一个有限方向图。 结点代表状态，用圆圈表示。 初态：一张转换图的启动条件，通常有一个,用圆圈表示。 终态：一张转换图的结束条件，至少有一个，用双圈表示。 状态之间用方向弧连接。弧上的标记（字符）代表在出射结点状态下可能出现的输入字符或字符类。 状态转换图中只包含有限个状态（结点） 状态转换图的作用 一个状态转换图可用于接受（或识别）一定的符号串。 路:在状态转换图中从初始状态到某一终止状态的弧上的标记序列。 对于某一符号串β，在状态转换图中，若存在一条路产生β，则称状态转换图接受（或识别）该符号串β，否则称符号串β不能被接受。 状态转换图所能识别的语言 能被状态转换图TG接受的符号串的集合记为L(TG)，我们称它为状态转换图所能识别的语言。 状态转换图示例 大多数程序语言的单词符号都可以用状态转换图予以识别。 状态转换图