Question

我在Python 3.4.3+中使用NLTK（3.0.4-1）并且我想使用通用标记集（我必须安装）来处理一些标记的语料库，{ {3}}

我可以使用原始的PoS标记集访问任何这些语料库，例如：

from nltk.corpus import brown, cess_esp, floresta

print(brown.tagged_sents()[0])
[('The', 'AT'), ('Fulton', 'NP-TL'), ('County', 'NN-TL'), ('Grand', 'JJ-TL'), ('Jury', 'NN-TL'), ('said', 'VBD'), ('Friday', 'NR'), ('an', 'AT'), ('investigation', 'NN'), ('of', 'IN'), ("Atlanta's", 'NP$'), ('recent', 'JJ'), ('primary', 'NN'), ('election', 'NN'), ('produced', 'VBD'), ('``', '``'), ('no', 'AT'), ('evidence', 'NN'), ("''", "''"), ('that', 'CS'), ('any', 'DTI'), ('irregularities', 'NNS'), ('took', 'VBD'), ('place', 'NN'), ('.', '.')]

print(cess_esp.tagged_sents()[0])
[('El', 'da0ms0'), ('grupo', 'ncms000'), ('estatal', 'aq0cs0'), ('Electricité_de_France', 'np00000'), ('-Fpa-', 'Fpa'), ('EDF', 'np00000'), ('-Fpt-', 'Fpt'), ('anunció', 'vmis3s0'), ('hoy', 'rg'), (',', 'Fc'), ('jueves', 'W'), (',', 'Fc'), ('la', 'da0fs0'), ('compra', 'ncfs000'), ('del', 'spcms'), ('51_por_ciento', 'Zp'), ('de', 'sps00'), ('la', 'da0fs0'), ('empresa', 'ncfs000'), ('mexicana', 'aq0fs0'), ('Electricidad_Águila_de_Altamira', 'np00000'), ('-Fpa-', 'Fpa'), ('EAA', 'np00000'), ('-Fpt-', 'Fpt'), (',', 'Fc'), ('creada', 'aq0fsp'), ('por', 'sps00'), ('el', 'da0ms0'), ('japonés', 'aq0ms0'), ('Mitsubishi_Corporation', 'np00000'), ('para', 'sps00'), ('poner_en_marcha', 'vmn0000'), ('una', 'di0fs0'), ('central', 'ncfs000'), ('de', 'sps00'), ('gas', 'ncms000'), ('de', 'sps00'), ('495', 'Z'), ('megavatios', 'ncmp000'), ('.', 'Fp')]

print(floresta.tagged_sents()[0])
[('Um', '>N+art'), ('revivalismo', 'H+n'), ('refrescante', 'N<+adj')]

到目前为止一直很好，但是当我使用选项tagset='universal'访问简化版本的PoS标签时，它只适用于布朗语料库。

print(brown.tagged_sents(tagset='universal')[0])
[('The', 'DET'), ('Fulton', 'NOUN'), ('County', 'NOUN'), ('Grand', 'ADJ'), ('Jury', 'NOUN'), ('said', 'VERB'), ('Friday', 'NOUN'), ('an', 'DET'), ('investigation', 'NOUN'), ('of', 'ADP'), ("Atlanta's", 'NOUN'), ('recent', 'ADJ'), ('primary', 'NOUN'), ('election', 'NOUN'), ('produced', 'VERB'), ('``', '.'), ('no', 'DET'), ('evidence', 'NOUN'), ("''", '.'), ('that', 'ADP'), ('any', 'DET'), ('irregularities', 'NOUN'), ('took', 'VERB'), ('place', 'NOUN'), ('.', '.')]

以西班牙语和葡萄牙语访问语料库时，我遇到了一长串错误和LookupError例外情况。

print(cess_esp.tagged_sents(tagset='universal')[0])
---------------------------------------------------------------------------
LookupError                               Traceback (most recent call last)
<ipython-input-6-4e2e43e54e2d> in <module>()
----> 1 print(cess_esp.tagged_sents(tagset='universal')[0])

[...]

LookupError: 
**********************************************************************
  Resource 'taggers/universal_tagset/unknown.map' not found.
  Please use the NLTK Downloader to obtain the resource:  >>>
  nltk.download()
  Searched in:
    - '/home/victor/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
    - ''
**********************************************************************

在taggers/universal_tagset目录中的映射中，我可以找到西班牙语（es-cast3lb.map）和葡萄牙语（pt-bosque.map）的映射，但我没有{ {1}}文件。任何想法如何解决？

提前致谢： - ）

Answer 1

这是一个有趣的问题。在nltk_data/taggers/universal_tagset/中找到的固定地图的帮助下，NLTK仅为固定的语料库集合实现映射到通用标记集。除了一些特殊情况（包括将褐色语料库视为名为en-brown），规则是查找与用于语料库的标记集同名的映射文件。在您的情况下，标记集设置为＆＃34; unknown＆＃34;，这就是您看到该消息的原因。

现在，您确定＆＃34;西班牙语＆＃34;的映射，即地图es-cast3lb.map，实际上与您的语料库的标记集匹配？我当然不会假设它确实如此，因为任何项目都可以创建自己的标记集和使用规则。 如果这是您的语料库使用的相同标记集，您的问题有一个简单的解决方案：

初始化语料库阅读器时，例如cess_esp，将选项tagset="es-cast3lb"添加到构造函数中。如有必要，例如对于已由NLTK加载tagset="unknown"的语料库，您可以在初始化后覆盖标记集，如下所示：
```
cess_esp._tagset = "es-cast3lb"
```

这告诉语料库读者在语料库中使用了什么标记集。之后，指定tagset="universal"会导致应用所选映射。

如果此标记集实际上不适合到您的语料库，那么您的第一项工作就是研究语料库的标记集文档，并创建适当的映射到通用标记集;正如您可能已经看到的那样，格式非常简单。然后，您可以通过将映射放入nltk_data/taggers/universal_tagset来使映射处于运行状态。将您自己的资源添加到nltk_data区域肯定是一个黑客攻击，但是如果你做到这一点，我建议你将你的标记集地图贡献给nltk ...这将解决事后的黑客攻击。

编辑：所以（根据评论）它是正确的标记集，但只有1-2个字母的POS标记位于映射字典中（标记的其余部分可能描述了变形词的特征）。这是一种快速扩展映射字典的快捷方式，因此您可以看到通用标记：

import nltk
from nltk.corpus import cess_esp
cess_esp._tagset = "es-cast3lb"

nltk.tag.mapping._load_universal_map("es-cast3lb")  # initialize; normally loaded on demand
mapdict = nltk.tag.mapping._MAPPINGS["es-cast3lb"]["universal"] # shortcut to the map

alltags = set(t for w, t in cess_esp.tagged_words())
for tag in alltags:
    if len(tag) <= 2:   # These are complete
        continue
    mapdict[tag] = mapdict[tag[:2]]

这会丢弃协议信息。如果你喜欢装饰＆＃34;通用＆＃34;标签，只需将mapdict[tag]设置为mapdict[tag[:2]]+"-"+tag[2:]。

我将此字典保存到文件中，如上所述，这样您就不必在每次加载语料库时重新计算映射。

使用NLTK的通用标记集和非英语语料库

1 个答案: