电子科技大学计算机科学与工程学院编译原理课件第8章 词法分析.ppt

第8章 词法分析 1. 词法分析概述 1.1 词法分析的功能 扫描源程序的字符串,按照词法规则,识别出单词符号作为输出;对识别过程中发现的词法错误,则输出有关的错误信息。 1.2 词法分析器和语法分析器的关系 (1) 词法分析作为单独的一遍 (2) 词法分析作为子程序 2. 词法分析器的输出形式 2.1 单词的种类 (1)保留字：也可称关键字或基本字, 如if、while、for、do、goto等 (2)标识符：用来命名程序中出现的变量、数组、函数、过程、标号等 (3)常数：各种类型的常数, 如 1、3.14、TRUE等 (4)运算符：如 +、-、*、/ 等 (5)界符：如 ; 、: 、/* 、*/ 等 2.2 单词的输出形式 (1) 二元式 (2) 单词的编码 采用整数编码，编码方式为 标识符：统一一个编码 常数：一种类型一个编码 保留字、运算符、界符：一字一码 (3) 单词的属性 记录单词的相关属性，方法为 标识符：记录它在符号表中的位置 常数：记录它的值 保留字、运算符、界符：可省 例1. A:=B50+10；的词法分析输出为 （标识符的编码，A的位置） （:=的编码，— ） （标识符的编码，B50的位置） （+的编码，— ） （整数的编码，10） （；的编码，— ） 3. 单词的识别方法 根据各类单词的特征，从输入字符串中识别出单词，并返回相应的二元式。 (1) 标识符的识别 字母开头，后面接若干个字母或数字。 (2) 保留字的识别 字母开头，后面接若干个字母或数字。 (3) 常数的识别 根据具体常数的类型和格式来定。如：若干个数字字符的连接可构成一个正整数。 (4) 运算符的识别 根据具体运算符的格式来定。 (5) 界符的识别 根据具体界符的格式来定。 注意 如何区分保留字和标识符 (1) 查询保留字表（针对保留字） (2) 查询与更新符号表（针对标识符） 超前有哪些信誉好的足球投注网站 在某些情况下，为了识别出某个单词，需要有哪些信誉好的足球投注网站的字符超出了该单词的范围。识别完后要回退这些字符。 4. 状态转换图 4.1 状态转换图的定义 有限方向图 结点代表状态 有向边表示状态转换 唯一初态、若干终态 边上的标记表示从输入串中读入的字符 4.2 状态转换图识别的串 从初态出发到某一终态，所经过路径上的所有字符的连接。例如，识别标识符的状态转换图为 5. 词法分析器的设计与实现 5.1 单词符号 某程序设计语言允许的单词为 int、if、for、while、read、write、… 标识符 整型常数 +、- 、*、/、、=、==、 … （ 、）、 ；、… 单词符号的编码 附录1 单词符号的编码 5.2 状态转换图 附录2 状态转换图 5.3 词法分析器的实现 实现方法 标记 —— 识别相应字符的语句 分支 —— if 或 switch 语句 循环 —— while语句 终态 —— 返回二元式的语句 词法分析器实例 附录3 词法分析器实例 注意 LexAnalyze()每执行一次，就从输入字符串中识别出一个单词符号，并返回相应的二元式。 LexAnalyze()的两种使用方式 （参考词法分析器与语法分析器的关系） 习题 1. 单词可分成哪几个种类？ 2. 单词的输出形式是什么？如何对单词进行编码？如何表示单词的属性？ * * 输入串 词法分析器 语法分析器 单词流 输入串 词法分析器 语法分析器 符号表 取下一单词 返回下一单词 （单词的编码 ， 单词的属性） 区分单词所属的类别 区分具体的单词 1 2 3 x y 0 1 2 字母 其它字符 字母或数字 *