Question

我正在尝试使用python中的nlp或scapy库从txt文件提取位置名称，国家名称，城市名称，旅游景点。

我在下面尝试过：

Nothing

获取输出：

import spacy
en = spacy.load('en')

sents = en(open('subtitle.txt').read())
place = [ee for ee in sents.ents]

我只想要位置名称，国家/地区名称，城市名称以及城市中的任何地方。

我也尝试使用NLP：

[1, 
, three, London, 
, 
, 
, 
, first, 
, 
, 00:00:20,520, 
, 
, London, the

4
00:00:20,520, 00:00:26,130
, Buckingham Palace, 
,

输出获取：

import nltk
nltk.download('maxent_ne_chunker')
nltk.download('words')
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('stopwords')

with open('subtitle.txt', 'r') as f:
    sample = f.read()


sentences = nltk.sent_tokenize(sample)
tokenized_sentences = [nltk.word_tokenize(sentence) for sentence in sentences]
tagged_sentences = [nltk.pos_tag(sentence) for sentence in tokenized_sentences]
chunked_sentences = nltk.ne_chunk_sents(tagged_sentences, binary=True)

def extract_entity_names(t):
    entity_names = []

    if hasattr(t, 'label') and t.label:
        if t.label() == 'NE':
            entity_names.append(' '.join([child[0] for child in t]))
        else:
            for child in t:
                entity_names.extend(extract_entity_names(child))

    return entity_names

entity_names = []
for tree in chunked_sentences:
    # Print results per sentence
    #print (extract_entity_names(tree))

    entity_names.extend(extract_entity_names(tree))

# Print all entity names
#print (entity_names)

# Print unique entity names
print (set(entity_names))

在这里，还会出现不需要的单词，例如“好”，“ PDF”，“本地向导”和一些地方。

请提出建议。

编辑1

脚本

{'Okay', 'Buckingham Palace', 'Darwin Brasserie', 'PDF', 'London', 'Local Guide', 'Big Ben'}

通过使用回答的脚本：达到输出以下

import spacy
nlp = spacy.load('en_core_web_lg')

gpe = [] # countries, cities, states
loc = [] # non gpe locations, mountain ranges, bodies of water


doc = nlp(open('subtitle.txt').read())
for ent in doc.ents:
    if (ent.label_ == 'GPE'):
        gpe.append(ent.text)
    elif (ent.label_ == 'LOC'):
        loc.append(ent.text)

cities = []
countries = []
other_places = []
import wikipedia
for text in gpe:
    summary = str(wikipedia.summary(text))
    if ('city' in summary):
        cities.append(text)
        print (cities)
    elif ('country' in summary):
        countries.append(text)
        print (countries)
    else:
        other_places.append(text)
        print (other_places)

for text in loc:
    other_places.append(text)
    print (other_places)

Answer 1

您正在寻找命名实体。 spaCy是用于在文本中查找命名实体的高效库，但是您应该在文档中相应地使用它。

您正在寻找位置，国家和城市。这些位置属于spaCy NER标记器中的GPE和LOC类别。具体来说，GPE适用于国家，城市和州，LOC适用于非GPE地点，山脉，水域等。

如果只需要这些名称到列表中，则可以使用NER标记器，仅查找这些标记。例如，如果您需要将城市与国家分开，则可以执行Wikipedia查询并检查摘要以找出它是城市还是国家。为此，您可能会发现python的维基百科库很有用。

示例代码：

import spacy
nlp = spacy.load('en_core_web_lg')

gpe = [] # countries, cities, states
loc = [] # non gpe locations, mountain ranges, bodies of water


doc = nlp(open('subtitle.txt').read())
for ent in doc.ents:
    if (ent.label_ == 'GPE'):
        gpe.append(ent.text)
    elif (ent.label_ == 'LOC'):
        loc.append(ent.text)

cities = []
countries = []
other_places = []
import wikipedia
for text in gpe:
    summary = str(wikipedia.summary(text))
    if ('city' in summary):
        cities.append(text)
    elif ('country' in summary):
        countries.append(text)
    else:
        other_places.append(text)

for text in loc:
    other_places.append(text)

如果您发现Wikipedia方法不足或运行缓慢，也可以尝试使用自己的NER标签来训练NER标签。为此，请看here。

如何在python中使用nlp或spacy提取位置名称，国家/地区名称，城市名称，旅游景点

1 个答案: