NER模型识别印度名字

Question

我计划使用命名实体识别（NER）技术从给定文本中识别人名（大多数是印度名称）。我已经从斯坦福NLP探索了基于CRF的NER模型，但它在识别印度名称方面并不十分准确。因此，我决定通过监督培训创建我自己的自定义NER模型。我对如何使用斯坦福NER CRF创建自己的NER模型有一个很好的想法，但是我想要避免创建一个带有手动注释的大型训练语料库，因为这对于个人而言是一种巨大的努力，其次是获得不同的人名来自印度不同的州也是一个挑战。任何人都可以建议任何自动化/编程方式来准备一个至少有10万印度名称的标记训练语料库吗？ 我已经查看了Facebook和LinkedIn API，但没有找到从给定位置（例如印度）提取10万用户全名的方法。

Answer 1

我最终做了以下工作来创建NER模型来识别印度名字。这可能对任何想要创建自定义NER模型以识别非英语人名的人都有用，因为大多数公开可用的NER模型（例如来自斯坦福NLP的模型）都使用英文名称进行培训，因此更准确地识别英语（英国/美国）的名字。

1. 通过Twitter帐户找到一位印度名人，并在Twitter上拥有大量粉丝（就我而言，我选择了Sachin Tendulkar）。
2. 使用您选择的语言创建一个程序来调用Twitter REST API（GET关注者/列表）以获取名人的所有关注者的名称并保存到文件中。我们可以放心地假设大多数粉丝都是印第安人。请注意，有一个API速率限制（每15分钟窗口30个请求），因此应该内置程序来处理它。对于我们的案例，我们将程序开发为Windows服务，每15分钟运行一次。
3. 由于某些Twitter用户的姓名可能不是有效的人名，因此建议添加一些基于规则的逻辑（如RegEx）来过滤看似真实的名称，并仅将其添加到文件中。
4. 生成具有真实姓名的文件后，创建另一个程序以创建包含标记为/注释为PERSON的名称的训练数据文件以及注释为OTHER的非实体名称。如果您使用的是Stanford NER CRF分类器，程序应该生成一个包含两列的训练（TSV）文件 - 一列包含单词（令牌），第二列包含标签。
5. 一旦以编程方式生成训练语料库，您可以按照以下链接创建自定义NER模型以识别印度名称： http://nlp.stanford.edu/software/crf-faq.shtml#a

Answer 2

本网站已为我们完成此任务！它为这些问题提供了解决方案： 印度语NER面临的挑战 印度语属于几个语系，主要是印欧语系，印度 - 雅利安语和德拉威语。 NER的挑战是由于几个因素造成的。下面列出了一些主要因素 形态丰富 - 根的识别很困难，需要使用形态分析仪 没有资本化功能 - 在英语中，大写是主要特征之一，而在印度语中则没有 歧义 - 普通名词和专有名词之间的歧义。例如：常见的词语，例如＆＃34; Roja＆＃34;意思是玫瑰花是一个人的名字 拼写变化 - 在网络数据中，我们发现不同的人以不同的方式拼写相同的实体 - 例如：在泰米尔语中，人物名称-Roja拼写为＆＃34; rosa＆＃34;，＆＃34; roja＆＃34;。 提供整个语料库。

Named Entity Recognition for Indian Languages and English

获取zip文件密码的好运！

喝彩！