Question

我正在使用此代码从名为＆＃34; answer_tokens.txt＆＃34;的文档中的文本中获取所有同义词。它只列出文档中没有同义词的单词。有人可以看看吗？

from nltk.corpus import wordnet
from nltk import word_tokenize
with open('answer_tokens.txt') as a: #opening the tokenised answer file
    wn_tokens = (a.read())
    #printing the answer tokens word by word as opened
    print('==========================================')
synonyms = []
for b in word_tokenize(wn_tokens):
            print (str (b))
            for b in wordnet.synsets(b):
                    for l in b.lemmas():
                            synonyms.append(l.name())
print ('==========================================')
print (set (synonyms))

这是输出

    [
    ,
    'Compare
    '
    ,
    'dynamic
    '
    ,
    'case
    '
    ,
    'data
    '
    ,
    'changing
    '
    ,
    '
    ,
    '
    ,
    'example
    '
    ,
    'watching
    '
    ,
    'video
    '
    ]
    ===================================================
    set()
    ==================================================

这是我们需要的输出

[
,
'Compare
'
,
'dynamic
'
,
'case
'
,
'data
'
,
'changing
'
,
'
,
'
,
'example
'
,
'watching
'
,
'video
'
]
===================================================
'Compare'{'equate', 'comparison', 'compare', 'comparability', 'equivalence', 'liken'}

'dynamic'{'dynamic', 'active', 'dynamical', 'moral_force'}

'case' {'display_case', 'grammatical_case', 'example', 'event', 'causa', 'shell', 'pillow_slip', 'encase', 'character', 'cause', 'font', 'instance', 'type', 'casing', 'guinea_pig', 'slip', 'suit', "typesetter's_case", 'sheath', 'vitrine', 'typeface', 'eccentric', 'lawsuit', 'showcase', 'caseful', 'fount', 'subject', 'pillowcase', "compositor's_case", 'face', 'incase', 'case'}

'data' {'data', 'information', 'datum', 'data_point'}

'changing'{'modify', 'interchange', 'convert', 'alter', 'switch', 'transfer', 'commute', 'change', 'vary', 'deepen', 'changing', 'ever-changing', 'shift', 'exchange'}

'example ' {'example', 'exemplar', 'object_lesson', 'representative', 'good_example', 'exercise', 'instance', 'deterrent_example', 'lesson', 'case', 'illustration', 'model'}

'watching' {'watch', 'observation', 'view', 'watching', 'watch_out', 'check', 'look_on', 'ascertain', 'learn', 'watch_over', 'observe', 'follow', 'observance', 'take_in', 'look_out', 'find_out', 'keep_an_eye_on', 'catch', 'determine', 'see'}

'video' {'video_recording', 'video', 'television', 'picture', 'TV', 'telecasting'}
==================================================

Answer 1

首先，应该为每个令牌单独进行初始化synonyms = [] ，因为您要为每个令牌构建不同的同义词列表。所以我已将该指令移入 for循环迭代标记。

您的代码的第二个问题是您使用相同的变量名称来迭代令牌和当前令牌的同义词。这样您就会丢失令牌本身的信息，导致您之后无法打印它。

最后，应该为每个令牌打印一组同义词（正如你在问题中所说的那样），所以我在最后移动了print语句。 for循环迭代令牌。

以下是代码：

from nltk.corpus import wordnet as wn
from nltk import word_tokenize as wTok

with open('answer_tokens.txt') as a: #opening the tokenised answer file
    wn_tokens = (a.read())
    print(wn_tokens)
    print('==========================================')

for token in wTok(wn_tokens):
    synonyms = []
    for syn in wn.synsets(token):
        for l in syn.lemmas():
            synonyms.append(l.name())
    print(token, set(synonyms))

print ('==========================================')

希望这有帮助！

P.S。为您的导入提供别名可能很有用，以简化编码过程。我已将wn别名赋予wordnet模块，将wTok别名赋予word_tokenize模块。

在python中

1 个答案: