詞法分析器

詞法分析器主要特點是不依靠語法，而只依靠詞法，即處理一個單詞時不依賴于外部單詞的信息，因此詞法分析器一般都很簡單。當然，對某些語言在作詞法分析時，在有些情況下不得不往前查看多個字符，有時還要做一些特殊處理，還有一些在詞法分析中處理不了的，要留到語法分析中進行處理。

本算法主要利用狀態(tài)轉(zhuǎn)換圖生成一個詞法分析器，對輸入的程序進行詞法分析，并將分析得到的單詞造表。其中關鍵字表和界限符表的大小是由高級語言的子集決定的，可以用數(shù)組裝載;而標識符表和常數(shù)表的大小取決于輸入的待分析程序中的變量、過程名、常數(shù)的個數(shù)，所以要用指針組成動態(tài)鏈表來裝載。當然為了方便，我們也把它定義成數(shù)組處理。

語法分析時，調(diào)用詞法分析器，根據(jù)已知文法利用遞歸向下分析，檢查語法錯誤。

詞法分析器又稱掃描器。詞法分析是指將我們編寫的文本代碼流解析為一個一個的記號，分析得到的記號以供后續(xù)語法分析使用。詞法分析器的工作是低級別的分析:將字符或者字符序列轉(zhuǎn)化成記號.。在談論詞法分析時，使用術(shù)語"詞法記號"(簡稱記號)、"模式"和"詞法單元"表示特定的含義。 ?

在分析時，一是把詞法分析器當成語法分析的一部分，另一種是把詞法分析器當成編譯程序的獨立部分。在前一種情況下，詞法分析器不斷地被語法分析器調(diào)用，每調(diào)用一次詞法分析器將從源程序的字符序列拼出一個單詞，并將其Token值返回給語法分析器。后一種情況則不同，詞法分析器不是被語法分析器不斷地調(diào)用，而是一次掃描全部單詞完成編譯器的獨立一遍任務。

第1章

引論

1.2SPL語言的特點及實驗安排

1.2.1SPL語言的特點

1.2.2SPL語言編譯器的主要結(jié)構(gòu)

1.2.3實驗安排

1.3平臺的選擇和介紹

1.3.1LEX簡介

1.3.2YACC簡介

第2章

詞法分析

2.2詞法分析器的基本原理

2.2.1DFA的構(gòu)造和實現(xiàn)

2.2.2詞法分析的預處理

2.2.3實現(xiàn)詞法分析器的注意要點

2.3詞法分析器的實現(xiàn)

2.3.1SPL語言單詞屬性字

2.3.2SPL詞法分析器的輸入和輸出

2.3.3SPL詞法分析器的分析識別

第3章

語法分析

3.1語法分析的基本框架

3.1.1上下文無關文法

3.1.2語法分析過程

3.1.3語法分析過程中的數(shù)據(jù)結(jié)構(gòu)

3.2語法分析的基本方法

3.2.1自頂向下的分析方法

3.2.2自底向上的分析方法

3.3語法分析的實現(xiàn)

3.3.1SPL語法定義

3.3.2SPL語法分析

第4章

符號表實現(xiàn)

4.1符號表的操作及數(shù)據(jù)結(jié)構(gòu)

4.1.1符號表的操作

4.1.2符號表的數(shù)據(jù)結(jié)構(gòu)

4.2基本原理和設計要點

4.2.1作用域規(guī)則

4.2.2設計要點

4.3SPL符號表的實現(xiàn)

4.3.1符號表的組織方式

4.3.2符號表的具體實現(xiàn)

第5章

錯誤處理

5.1錯誤處理基本原理

5.1.1錯誤的種類

5.1.2錯誤的診察和報告

5.1.3錯誤處理技術(shù)

5.1.4錯誤處理實現(xiàn)中的要點

5.2錯誤處理的實現(xiàn)

5.2.1錯誤處理數(shù)據(jù)結(jié)構(gòu)定義和相關函數(shù)

5.2.2詞法錯誤處理

5.2.3語法錯誤

5.2.4語義錯誤

5.2.5限制重復報告錯誤

第6章

代碼生成

6.1代碼生成原理及主要數(shù)據(jù)結(jié)構(gòu)

6.1.1技術(shù)概述

6.1.2主要數(shù)據(jù)結(jié)構(gòu)

6.2代碼生成的關鍵要點

6.2.1布爾表達式的代碼生成

6.2.2條件語句的代碼生成

6.2.3循環(huán)結(jié)構(gòu)的代碼生成

6.2.4程序調(diào)用的代碼生成

6.3目標機器環(huán)境說明

6.3.1目標機器8086

6.3.2目標機器i386

6.4代碼生成程序的實現(xiàn)

6.4.1定義與聲明的翻譯

6.4.2表達式的翻譯

6.4.3語句和控制流的翻譯

第7章

代碼優(yōu)化

7.2基本原理

7.2.1代碼優(yōu)化分類

7.2.2常量表達式優(yōu)化

7.2.3公共表達式的優(yōu)化

7.2.4循環(huán)優(yōu)化

7.2.5優(yōu)化實現(xiàn)的要點

7.3優(yōu)化的實現(xiàn)

7.3.1常量合并的實現(xiàn)

7.3.2公共表達式節(jié)省的實現(xiàn)

第8章

SPL編譯器完整實現(xiàn)

8.2編譯器各部分接口

8.2.1詞法分析

8.2.2語法分析

8.2.3語義分析

8.2.4#間代碼生成

8.2.5代碼優(yōu)化

8.2.6目標代碼生成

8.2.7錯誤處理

8.3語言的擴充和實現(xiàn)

8.3.1詞法分析器的語言擴充

8.3.2語法分析器的語言擴充

8.3.3符號表的語言擴充

8.3.4樹和DAG擴充

8.3.5目標代碼生成的語言擴充

8.5編譯器的編譯和測試

8.5.1Linux環(huán)境下的編譯和運行

8.5.2Windows環(huán)境下的編譯和運行