【语言处理与Python】8.2文法有什么用？8.3上下文无关文法8.4上下文无关文法分析.pdfVIP

【【语语⾔⾔处处理理与与Python】】8.2⽂⽂法法有有什什么么⽤⽤？？8.3上上下下⽂⽂⽆⽆关关⽂⽂法法8.4

上上下下⽂⽂⽆⽆关关⽂⽂法法分分析析

8.2⽂法有什么⽤？

超越n-grams

⽤bigrams中的频率信息⽣成句，短的时候可以接收，但是长的时候就显得⽆法接受。

我们系统地可以⽤较短的序列替代较长的序列，并使其依然符合语法规则。

例如下⾯这句话：

我们可以为这幅图上添上⽂法类别标签。

NP为名词短语；VP为动词短语；PP为介词短语；

⽤树来表⽰：

句可以有任意的长度。短语结构树可以有任意深度。

在下⼀节中，将看到⼀个指定的⽂法如何将句细分成它的直接成分，以及如何将这些进⼀步细分，直到到达单独词汇层⾯。

8.3上下⽂⽆关⽂法

context-freegrammar,CFG上下⽂⽆关⽂法(更多关于上下⽂⽆关⽂法请⾃⾏了解)

grammar1=ntk.parse_cfg(

S-NPVP

VP-VNP|VNPPP

PP-PNP

V-saw|ate|waked

NP-John|Mary|Bob|DetN|DetNPP

Det-a|an|the|my

N-man|dog|cat|teescope|park

P-in|on|by|with

)

sent=MarysawBob.spit()

rd_parser=ntk.RecursiveDescentParser(grammar1)

fortreeinrd_parser.nbest_parse(sent):

...printtree

(S(NPMary)(VP(Vsaw)(NPBob)))

写⾃⼰的⽂法

我们可以写⾃⼰的⽂法，保存在cfg的⽂件中。

grammar1=ntk.data.oad(fie:mygrammar.cfg)

sent=MarysawBob.spit()

rd_parser=ntk.RecursiveDescentParser(grammar1)

fortreeinrd_parser.nbest_parse(sent):

printtree

如果没有任何输出，可能是sent也就是句不符合⽂法，可以打开追踪，进⾏调试和检查。

rd_parser=ntk.RecursiveDescentParser(grammar1,trace=2)

句法结构中的递归

句法递归请参考⽂法相关资料。

递归深度是没有限制的，我们可以尝试分析更深层次的嵌套结构的句。

RecursiveDescentParser是⽆法处理形如X-XY的左递归。

8.4上下⽂⽆关⽂法分析

在这⾥介绍两种简单的分析⽅法，⼀种⾃上⽽下的⽅法成为递归下降分析，⼀种⾃下⽽上的⽅法成为移近-归约分析。同样，也会看到更复杂

的算法，⼀种带⾃下⽽上过滤的⾃上⽽下的⽅法称为左⾓落分析。

⼀种动态规划技术成为图表分析。

递归下降分析

我们可以使⽤图形化师范ntk.app.rdparser()中看到递归下降的过程。

从S节点开始匹配。

NLTK提供了⼀个递归下降分析器：

rd_parser=ntk.RecursiveDescentParser(grammar1)

sent=Marysawadog.spit()

fortinrd_parser.nbest_parse(sent):

...printt

(S(NPMary)(VP(Vsaw)(NP(Deta)(Ndog))))

递归下降是有缺点的：

1、左递归产⽣式会进⼊死循环。

2、分析器浪费了很多时间处理不符合输⼊句的词和结构

3、回溯过程中可能丢弃分析过的成分，他们需要在之后重新建⽴

移进-归约分析（简单的⾃下⽽上分析）

移位：分析器反复将下⼀个输⼊词推到堆栈中，这是移位操作。

归约：如果堆栈上的前N项匹配⼀些产⽣式右侧的N个项⽬，那么就把他们弹出栈，并把产⽣式左边的项⽬压⼊栈。这种替换的操作就是归约

操作。

同样，可以使⽤图形化⽰范ntk.app.srparser()

相关代码：

sr_parse=ntk.ShiftReduceParser(g