词法分析器实验报告.docVIP

Java 语言词法分析器 班级学号：1120111822 姓名：徐少杰 实验目的 强化对系统软件综合工程实现能力、规划能力的训练； 加强对词法分析原理、方法和基本实现技术的理解。 实验内容 用 C++作为宿主语言完成 Java 语言词法分析器的设计和实现。 具体要求为：使用 DFA 实现词法分析器的设计；实现对 Java 源程序中注释的过滤；利 用两对半缓冲区从文件中逐一读取单词； 词法分析结果属性字流存放在独立文件中； 统计源 程序每行单词的数和整个源文件单词数；具有报告词法错误和出错位置（源程序行号和 该行字符）的功能。 l FA 设计 非零数字：{1, 2, 3, 4, 5, 6, 7, 8, 9} 数字：{非零数字, 0} 八进制数字：{0, 1, 2, 3, 4, 5, 6, 7} 十六进制数字：{数字, a, b, c, d, e, f, A, B, C, D, E, F} 字母：{a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p, q, r, s, t, u, v, w, x, y, z, A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Y, Z} 标识符首字符：{字母, _, $} 标识符字符：{标识符首字符, 数字} 特殊字符：{!, %, , *, ?, +, -, :, , =, , ^, |, ~} 关键字：{abstract, boolean, break, byte, case, catch, char, class, const, continue, default, do, double, else, extends, false, final, finally, float, for, goto, if, implements, import, instanceof, int, interface, long, native, new, null, package, private, protected, public, return, short, static, super, switch, synchronized, this, throw, throws, transient, true, try, void, volatile, while} 运算符：{-, --, -=, !, !=, %, %=, , , =, *, *=, /, /=, ?, :, ^, ^=, |, ||, |=, ~, +, ++, +=, , , =, =, =, ==, , =, , =, , =} l 数据结构说明 程序中使用 int 类型定义了一系列常量来表示单词的类型属性与详细属性。例如单词 “+=”的类型属性为 T_ASSIGN（0x110） ，表示赋值类运算符；详细属性为 P_PLUSEQ（96）， 表示相加赋值。二者的映射关系存储在数组 ATTR_MAP 中。对于运算符类单词，还定义了其 6 优先级属性，存储在数组 PRI_MAP 中。 Position 类用于存储扫描器扫描到的字符位置，其 line 与 col 属性分别表示字符所在 行与列，Set 方法用于为 Position 对象赋值，Reset 方法将行、列置零。 +Reset() +Set(in l : int,in c :int) +line : int +col :int Position priamp 结构用于存储各类运算符及其优先级之间的映射关系。 attramp 结构用于存储单词及其类型属性、详细属性之间的映射关系。具体关系参见附 录表 1。 l 程序说明 使用本程序，只需运行可执行文件“JavaLex.exe” ，依提示输入待分析的 java 源文件 名，回车。程序随即将词法分析的属性字流写入名为“java 源文件名_out.txt”的文件， 错误列表写入名为“java 源文件名_err.txt”的文件。辅助提示息（如单词总数）显示 在控制台上。 属性字流的格式如下： N: ( L1, C1)-( L2, C2) (Type) (Detail) [Token]-[Priority: P] u N： 本行的第 N 个单词； u L1、C1： 单词的起始行、列； u L2、C2： 单词的结束行、列； u Type： 单词的类型属性代码； u Detail： 单词的详细属性代码； u Token： 单词； u P：