• 5.2 验证 Toolbox 词汇

    5.2 验证 Toolbox 词汇

    Toolbox 格式的许多词汇不符合任何特定的模式。有些条目可能包括额外的字段，或以一种新的方式排序现有字段。手动检查成千上万的词汇条目是不可行的。我们可以在Counter的帮助下很容易地找出频率异常的字段序列：

    1. >>> from collections import Counter
    2. >>> field_sequences = Counter(':'.join(field.tag for field in entry) for entry in lexicon)
    3. >>> field_sequences.most_common()
    4. [('lx:ps:pt:ge:tkp:dt:ex:xp:xe', 41), ('lx:rt:ps:pt:ge:tkp:dt:ex:xp:xe', 37),
    5. ('lx:rt:ps:pt:ge:tkp:dt:ex:xp:xe:ex:xp:xe', 27), ('lx:ps:pt:ge:tkp:nt:dt:ex:xp:xe', 20), ...]

    检查完高频字段序列后，我们可以设计一个词汇条目的上下文无关语法。在5.2中的语法使用我们在8.看到的 CFG 格式。这样的语法模型隐含 Toolbox 条目的嵌套结构，建立一个树状结构，树的叶子是单独的字段名。最后，我们遍历条目并报告它们与语法的一致性，如5.2所示。那些被语法接受的在前面加一个'+' [1]，那些被语法拒绝的在前面加一个'-' [2]。在开发这样一个文法的过程中，它可以帮助过滤掉一些标签[3]。

    1. grammar = nltk.CFG.fromstring('''
    2.  S -> Head PS Glosses Comment Date Sem_Field Examples
    3.  Head -> Lexeme Root
    4.  Lexeme -> "lx"
    5.  Root -> "rt" |
    6.  PS -> "ps"
    7.  Glosses -> Gloss Glosses |
    8.  Gloss -> "ge" | "tkp" | "eng"
    9.  Date -> "dt"
    10.  Sem_Field -> "sf"
    11.  Examples -> Example Ex_Pidgin Ex_English Examples |
    12.  Example -> "ex"
    13.  Ex_Pidgin -> "xp"
    14.  Ex_English -> "xe"
    15.  Comment -> "cmt" | "nt" |
    16.  ''')
    18. def validate_lexicon(grammar, lexicon, ignored_tags):
    19.     rd_parser = nltk.RecursiveDescentParser(grammar)
    20.     for entry in lexicon:
    21.         marker_list = [field.tag for field in entry if field.tag not in ignored_tags]
    22.         if list(rd_parser.parse(marker_list)):
    23.             print("+", ':'.join(marker_list)) ![[1]](/projects/nlp-py-2e-zh/Images/346344c2e5a627acfdddf948fb69cb1d.jpg)
    24.         else:
    25.             print("-", ':'.join(marker_list)) ![[2]](/projects/nlp-py-2e-zh/Images/f9e1ba3246770e3ecb24f813f33f2075.jpg)

    另一种方法是用一个词块分析器（7.），因为它能识别局部结构并报告已确定的局部结构，会更加有效。在5.3中我们为词汇条目建立一个词块语法，然后解析每个条目。这个程序的输出的一个示例如5.4所示。

    1. grammar = r"""
    2.  lexfunc: {<lf>(<lv><ln|le>*)*}
    3.  example: {<rf|xv><xn|xe>*}
    4.  sense:   {<sn><ps><pn|gv|dv|gn|gp|dn|rn|ge|de|re>*<example>*<lexfunc>*}
    5.  record:   {<lx><hm><sense>+<dt>}
    6.  """

    Images/iu-mien.png

    图 5.4：一个词条的 XML 表示，对 Toolbox 记录的词块分析的结果