语法分析-Antlr

上一节,我们通过Antlr快速的落地实现了Token的解析,这一节我们还是基于Antlr来实现语法的解析。

语法分析相对来讲就复杂多了,我们需要对Token进行推导与组合,生成我们想要表达的式子。

我们先来看一个简单的例子:

a + b * c

这个看上去很简单的表达式,我们最终想要得到的结果是b * c 再与 a相加,而不是a + b再乘以 c。

这里就涉及到一个优先级的问题，Antlr支持通过右边产生式的顺序来定义优先级。

语法规则是由上下文无关文法表示的，而上下文无关文法是由一组替换规则（又叫产生式）组成的，比如算术表达式的文法规则可以表达成下面这种形式：

add -> mul | add + mul
mul -> pri | mul * pri
pri -> Id | Num | Operator

pri表示基础表达式,他可以推导成Id(标识符),Num(数字), Operator(操作符)

mul表示可以推导成一个基础表达式或者是mul乘以pri

add表示可以推导成一个mul或者add 加上 mul

按这个规则我们来推导一下a + b * c.

优先级高的后推导,优先级低的先推荐。

尝试将这个式子推荐成add,发现刚好符合要求add+mul

add+mul 推导成mul+mul

再推导成pri+mul

再推导成pri+mul*pri

再推导成pri+pri*pri

最后推导成pri+pri*pri

以上的推导是建立在你有一定的编译器前端认识的基础之上,在这之前你需要知道推导的左递归与结合性的问题。

Antlr已经帮我们处理好了左递归,我们可以放心的按左递归的规则来书写。

至于结合性的问题,正如我上面提到的,a + b * c 不能推导成a + b 再乘以c,我们可能通过Antlr规则产生式的顺序来确保结合性的正确。

上面说了很多都比较空洞, 接下来我们通过Antlr来实现我们的语法分析

grammar FlexDSLScript;
import FlexDSLLexer;

/// 表达式,按右边产生式的顺序来依次优先推导
expression:
 primary
 | dot = '.' expression
 | expression dot = '.' expression
 | '(' expression ')'
 | FOR Id IN Id
 | expression postfix = ('++' | '--')
 | prefix = ('++' | '--') expression
 | expression bop = ('*' | '/' | '%') expression
 | expression bop = ('+' | '-') expression
 | expression bop = ('<' | '<=' | '>' | '>=') expression
 | expression bop = ('==' | '!=') expression
 | expression bop = ('&&' | '||') expression
 | expression bop = '?' expression bop = ':' expression;

primary:
 Id
 | StringLiteral
 | IntLiteral
 | DoubleLiteral
 | TF = (True | False);

首先我们需要导入语法分析规则

我们定义了最基础的表达未

primary, 他可以推导出Id(标签符: 变量名称),

StringLiteral(字符串字面量),

IntLiteral(整形字面量),

DoubleLiteral(浮点书字面量),

TF(true|false)

expression 通过顺序定义了推导逻辑,优先级高的写在前面,优先级低的写后面 写好规则文件之后我们来编译一下

antlr4 FlexDSLScript.g4
javac *.java

编译完成后运行

grun FlexDSLScript expression -gui

在终端里输入这个表达式,然后按Alt+D(mac), Windows应该是Control+D,输入一下结束符，

接下来java弹出一个对话框，直观的展示了解析后的AST

通过遍历这个AST我们就可以得到这个表达式最后的结果了。

下一节我们来实现语义分析，也就是对AST的遍历求运算。