Question

我正在开展一个项目，该报道从报纸的网站上看到我已存储在2个文本文件（nyt.text和wapo.text）中的标题，并将它们相互比较，如果确定了字符串与Python内置的SequenceMatcher类似，将它们打印给我以及它们的相似性评级：

from difflib import SequenceMatcher

f = open('nyt.text','r+')
w = open('wapo.text','r+')

def similar(a, b):
return SequenceMatcher(None, a, b).ratio()


def compare(self):
    wapo = []
    times = []
    for line in w.readlines():
        wapo.append(line)
    for i in f.readlines():
        times.append(i)
    print(wapo[0],times[0])
    for i in wapo:
        for s in times:
            print(similar(i,s))
            if similar(i,s) > 0.35:
                print(i,s)
    return

compare()

我得到的结果看起来像这样：

    Attorney for San Bernardino gunman's family floats hoax theory
 Op-Ed Contributor: A Battle in San Bernardino

San Bernardino attacker pledged allegiance to Islamic State leader, officials say
 Sunday Routine: How Jamie Hodari, Workplace Entrepreneur, Spends His Sundays

Why some police departments let anyone listen to their scanner conversations - even criminals
 White House Seeks Path to Executive Action on Gun Sales

Why the Pentagon opening all combat roles to women could subject them to a military draft
 Scientists Seek Moratorium on Edits to Human Genome That Could Be Inherited

Destroying the Death Star was a huge mistake
 Mark Zuckerberg Defends Structure of His Philanthropic Outfit

正如你所看到的，尽管被SequenceMatcher评为.35相似度，但它们与第一个相比并不是非常相似。我有一个想法，这是因为SequenceMatcher通过 letter 判断相似性，而不是通过单词。有没有人会想到如何标记标题中的单词，以便SequenceMatcher将它们作为整个单词而不是单个字母来读取？

Answer 1

你的直觉很可能就在眼前。你看到基于不间断的匹配字母串的匹配，这通常是标题相似性的一个非常糟糕的指标。

这样做是因为你传入的序列是一个字符串，或者正如计算机所看到的那样，是一个非常长的字母列表。

如果您想判断单词，我建议使用.split()函数拆分文本，该函数将在空格上分割。

你可以并且可能应该做很多清洁，例如removing punctuation，将所有内容设置为小写（'。lower（）'），以及可能stemming the words以获得合理的匹配。也就是说，所有这些部分都在其他地方有详细记录，可能对您的特定用例没有意义。

你也可以在sklearn中查看其他标记器，但它们不太可能在这里产生巨大的差异。

比较单词而不是列表中的字母 - 从SequenceMatcher包中获取意外的输出

1 个答案: