词法分析及其C语言实现.PDF

山西电子技术 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 软件天地 2007 年第 3 期 词法分析及其 C 语言实现 郜 　瑜 ( 中国人民大学信息学院 ,北京 100872) 摘 　要 :介绍了编译过程的第一阶段 ———词法分析的功能和输出 ,词法分析器的实现模式及词法出错的处理 , 并在此基础上依据 C 语言的范式给出了设计 C 语言程序的词法分析器的基本思路和需要考虑的问题 。 关键词 :词法分析 ;C 语言的BNF 范式 ;词法分析器设计 中图分类号 : TP313 　　文献标识码 :A 0 　引言 1 . 3 　词法分析器的实现模式 在编译程序中 ,词法分析器可以有两种实现模式 :完全 为了将一个程序从一种语言翻译成另一种语言 ,编译器 独立模式和相对独立模式 。编译程序采用哪种模式实现词 必须首先把程序的各种成分拆开 ,并搞清其结构和含义 ,然 法分析器完全取决于实现者的总体考虑 。 后再用另一种方式把这些成分组合起来 。编译器的前端执 1 . 4 　词法出错处理 行分析 ,后端进行合成 。词法分析是编译过程的第一阶段 , 在词法分析阶段发现的错误统称为词法错误 ,它们大多 它的主要任务是逐个地扫描构成源程序的字符流 ,把它们翻 是单词拼写错误 。有些单词元素由特定的规定也能发现错 译成有意义的单词序列 ,提供给语法分析器 。 误 。例如 ,在 C + + 语言中 ,实型常量的指数形式要求在 e 1 　词法分析器的设计 或 E 前面的尾数部分必须有数字 ,后面的指数部分必须是 1. 1 　词法分析器的功能与输出 整数 。如果程序中出现了 E55 或 10E0. 5 ,词法分析器就应 词法分析器的输入是源程序 ,可以看作是特定语言所允 该报错 。但是 ,因为词法分析器只是掌握了程序及其语言的 许的基本字符流 。这些符号在多数高级程序语言中分成了 局部知识 ,所以几乎发现不了更多的错误 。 五种单词记号 :关键字 ,标识符 ,运算符 ,常量 ,分界符 。 2 　词法分析器的 C 语言实现 词法分析器的基本功能是 ,按照语言的定义规则 ,逐个 2 . 1 　综述 的读入源程序的符号 ,识别出对语言有意义的符号串 , 即单 该 C 语言的词法分析器输入为 C 语言源代码 ,输出识 词符号 ;然后分析单词符号的属性 ,并把单词符号及其属性 别出的单词的二元属性及程序中的错误 ,并填写关键字表 填写在符号表中; 同时把源程序改造成等价的计算机内部表 ( ) ( ) ( ) (