编译原理第四章节词法分析.docVIP

第章 词法分析 课前索引 【课前思考】　◇ 词法分析程序的功能是什么？　◇ PL/0词法分析程序识别哪几种单词？　◇ 画出PL/0词法分析程序的流程图。　◇ C语言，PASCAL语言的标识符和数的表示分别有什么规定？　◇ 编写一个程序（C的，或PASCAL的）识别C++语言的标识符。【学习目标】　◇ 明确词法分析在编译过程所处的阶段和作用。　◇ 掌握词法分析程序的手工实现方法。　◇ 理解通常的单词分类和构词规则。　◇ 会使用单词的描述和识别机制。　◇ 掌握词法分析程序的自动构造原理。【学习指南】　　词法分析程序是编译程序的一个构成成分，它的主要任务是扫描源程序，按构词规则识别单词，并报告发现的词法错误。词法分析也是语法分析的一部分，把词法分析从语法分析中独立出来是为了使编译程序结构清晰，也是为了便于使用自动构造工具，提高编译效率。 　　本章首先介绍词法分析程序的功能和设计原则，然后引入正规式和其对单词的描述，接着讲述有穷自动机理论，最后给出词法分析程序的自动构造原理。【难重点】　◇ 如何设计和实现词法分析程序　◇ 正规式的定义-如何用作单词的描述工具　◇ 有穷自动机的定义和分类-如何用作单词的识别系统　◇ 正规式到有穷自动机的转换算法-词法分析程序的自动构造原理 【知识结构】 词法分析是编译的第一个阶段，它的主要任务是从左至右逐个字符地对源程序进行扫描，产生一个个单词序列，用以语法分析。执行词法分析的程序称为词法分析程序或扫描程序。本章我们将讨论词法分析程序的设计原则，单词的描述技术，识别机制及词法分析程序的自动构造原理。 词法分析程序的主要任务：　　- 读源程序，产生单词符号　　词法分析程序的其他任务：　　- 滤掉空格，跳过注释、换行符　　- 追踪换行标志，复制出错源程序，　　- 宏展开，…… 　　本章要点：　　- 告诉你掌握词法分析程序的设计和实现的办法　　- 首先需要描述和刻画程序设计语言中的原子单位--单词，其次需要识别单词和执行某些相关的动作。　　- 描述程序设计语言的词法的机制是正则表达式，识别机制是有穷状态自动机。 4.1 词法分析程序首先讨论词法分析程序与语法分析程序的接口方式　　词法分析程序完成的是编译第一阶段的工作。词法分析工作可以是独立的一遍，把字符流的源程序变为单词序列，输出在一个中间文件上，这个文件做为语法分析程序的输入而继续编译过程。然而，更一般的情况，是将词法分析程序设计成一个子程序，每当语法分析程序需要一个单词时，则调用该子程序。词法分析程序每得到一次调用，便从源程序文件中读入一些字符，直到识别出一个单词，或说直到下一单词的第一个字符为止。这种设计方案中，词法分析程序和语法分析程序是放在同一遍里，而省掉了中间文件，象第2章介绍的PL/0编译程序那样.也是大多数编译程序采用的方案。 实现词法分析（lexical analysis）的程序　　逐个读入源程序字符并按照构词规则切分成一系列单词。 单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法分析前进行 。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 词法分析程序和语法分析程序的关系 f4-1-1.swf 词法分析程序的主要功能是从字符流的源程序中识别单词，它要从左至右逐个字符地扫描源程序，因此它还可完成其它一些任务。比如，滤掉源程序中的注释和空白(由空格，制表或回车换行字符引起的空白)；又比如，为了使编译程序能将发现的错误信息与源程序的出错位置联系起来，词法分析程序负责记录新读入的字符行的行号，以便行号与出错信息相联；再有，在支持宏处理功能的源语言中，可以由词法分析程序完成其预处理等等。 接着讨论词法分析程序的输出　　词法分析程序的功能是读入源程序，输出单词符号。单词符号是一个程序设计语言的基本语法符号。程序设计语言的单词符号一般可分成下列5种：　① 保留字，也称关键字，如PASCAL语言中的begin,end,if,while和var等。　② 标识符，用来表示各种名字，如常量名、变量名和过程名等。　③ 常数，各种类型的常数，如25，3.1415，TRUE和ABC等。　④ 运算符，如+，*，=等。　⑤ 界符，如逗点，分号，括号等。 五种单词符号：　- 保留字，关键字　- 标识符　- 常数（量）　- 运算符　- 界符 你能举出一些例子吗?　　词法分析程序所输出的单词符号常常采用以下二元式表示：(单词种别，单词自身的值)。单词的种别是语法分析需要的信息，而单词自身的值则是编译其它阶段需要的信息。比如在PASCAL