我目前正在处理一个非常大的位置数据库，并试图将其与现实世界的坐标相匹配。
为此，我下载了the geoname dataset，其中包含很多条目。它给出了可能的名称和纬度/经度坐标。为了加快速度，我设法通过删除对数据集没有意义的条目，将庞大的csv文件（1.6 GB）减少到0.450 GB。但是，它仍然包含400万个条目。
现在我有很多条目，例如：
知道字符串与这么长的字符串匹配后，我通过NLTK使用Standford's NER获得了更好的字符串来限定我的位置。现在我有这样的字符串：
地名数据集包含以下内容：
我正在应用此algorithm来使我的条目与包含4M条目的地理名称csv之间的匹配度更高。我首先阅读geoname_cleaned.csv文件，并将所有数据放入列表中。然后，对于每个条目，我都呼吁在当前条目和geoname_list的所有条目
之间的每个条目string_similarity()
def get_bigrams(string):
"""
Take a string and return a list of bigrams.
"""
s = string.lower()
return [s[i:i+2] for i in list(range(len(s) - 1))]
def string_similarity(str1, str2):
"""
Perform bigram comparison between two strings
and return a percentage match in decimal form.
"""
pairs1 = get_bigrams(str1)
pairs2 = get_bigrams(str2)
union = len(pairs1) + len(pairs2)
hit_count = 0
for x in pairs1:
for y in pairs2:
if x == y:
hit_count += 1
break
return (2.0 * hit_count) / union
我已经在原始数据集的一个子集上测试了该算法，它可以正常工作，但速度显然很慢（单个位置最多需要40秒）。由于我有超过一百万个条目要处理，因此这将花费10000小时或更长时间。我想知道你们是否对如何加快速度有任何想法。我显然想到了并行处理，但是没有可用的HPC解决方案。也许简单的想法可以帮助我加快这一步。
我愿意接受你们可能有的任何想法，但是会以某种方式更喜欢python兼容的解决方案。
预先感谢：）。
编辑：
我尝试用fuzz.token_set_ratio(s1, s2)进行模糊处理，它的性能最差（运行时间更糟，结果也不太理想）。比赛不如以前使用我的自定义技术好，一次输入的运行时间增加了15秒。
编辑2：
尽管我一开始也使用了某种排序来帮助进行匹配，但是我的幼稚实现无法正常工作。但是我敢肯定，有一些方法可以加快速度，方法是摆脱地名数据集中的某些条目，或者以某种方式对它们进行排序。我已经做了很多清理工作，以删除无用的条目，但不能使该数目低于4M
答案 0 :(得分：3)
我们可以通过两种方式加快匹配速度。我假设在您的代码中str1是数据集中的名称，而str2是地理名称字符串。为了测试代码，我根据问题中的数据制作了两个微小的数据集。我编写了两个匹配的函数best_match和first_match，它们使用您当前的string_similarity函数，因此我们可以看到我的策略给出了相同的结果。 best_match检查所有地名字符串，如果超过给定的阈值得分，则返回得分最高的字符串，否则返回None。 first_match（可能）更快：它只会返回第一个超过阈值的地理名称字符串，如果找不到，则返回None，因此如果找不到匹配项，则它仍然具有搜索整个地名列表。
在改进的版本中，我们为每个str1生成一次二元组，而不是为与之比较的每个str1为str2生成二元组。而且，我们会预先计算所有地名二元组，将它们存储在由字符串索引的字典中，这样就不必为每个str重新生成它们。另外，我们将地理名称bigrams存储为集合。这使得hit_count的计算速度更快，因为集合成员资格测试比对字符串列表进行线性扫描要快得多。 geodict还需要存储每个二元组的长度：一个集合不包含重复项，因此，二元组的长度可能小于二元组的列表，但是我们需要列表长来计算分数正确。
# Some fake data
geonames = [
'Slettmarkmountains Jotunheimen Norway',
'Fairy Glen Skye Scotland UK',
'Emigrant Wilderness California',
'Yosemite National Park',
'Half Dome Yosemite National Park',
]
mynames = [
'Jotunheimen Norway',
'Fairy Glen',
'Slettmarkmountains Jotunheimen Norway',
'Bryce Canyon',
'Half Dome',
]
def get_bigrams(string):
"""
Take a string and return a list of bigrams.
"""
s = string.lower()
return [s[i:i+2] for i in range(len(s) - 1)]
def string_similarity(str1, str2):
"""
Perform bigram comparison between two strings
and return a percentage match in decimal form.
"""
pairs1 = get_bigrams(str1)
pairs2 = get_bigrams(str2)
union = len(pairs1) + len(pairs2)
hit_count = 0
for x in pairs1:
for y in pairs2:
if x == y:
hit_count += 1
break
return (2.0 * hit_count) / union
# Find the string in geonames which is the best match to str1
def best_match(str1, thresh=0.2):
score, str2 = max((string_similarity(str1, str2), str2) for str2 in geonames)
if score < thresh:
str2 = None
return score, str2
# Find the 1st string in geonames that matches str1 with a score >= thresh
def first_match(str1, thresh=0.2):
for str2 in geonames:
score = string_similarity(str1, str2)
if score >= thresh:
return score, str2
return None
print('Best')
for mystr in mynames:
print(mystr, ':', best_match(mystr))
print()
print('First')
for mystr in mynames:
print(mystr, ':', best_match(mystr))
print()
# Put all the geoname bigrams into a dict
geodict = {}
for s in geonames:
bigrams = get_bigrams(s)
geodict[s] = (set(bigrams), len(bigrams))
def new_best_match(str1, thresh=0.2):
pairs1 = get_bigrams(str1)
pairs1_len = len(pairs1)
score, str2 = max((2.0 * sum(x in pairs2 for x in pairs1) / (pairs1_len + pairs2_len), str2)
for str2, (pairs2, pairs2_len) in geodict.items())
if score < thresh:
str2 = None
return score, str2
def new_first_match(str1, thresh=0.2):
pairs1 = get_bigrams(str1)
pairs1_len = len(pairs1)
for str2, (pairs2, pairs2_len) in geodict.items():
score = 2.0 * sum(x in pairs2 for x in pairs1) / (pairs1_len + pairs2_len)
if score >= thresh:
return score, str2
return None
print('New Best')
for mystr in mynames:
print(mystr, ':', new_best_match(mystr))
print()
print('New First')
for mystr in mynames:
print(mystr, ':', new_first_match(mystr))
print()
输出
Best
Jotunheimen Norway : (0.6415094339622641, 'Slettmarkmountains Jotunheimen Norway')
Fairy Glen : (0.5142857142857142, 'Fairy Glen Skye Scotland UK')
Slettmarkmountains Jotunheimen Norway : (1.0, 'Slettmarkmountains Jotunheimen Norway')
Bryce Canyon : (0.1875, None)
Half Dome : (0.41025641025641024, 'Half Dome Yosemite National Park')
First
Jotunheimen Norway : (0.6415094339622641, 'Slettmarkmountains Jotunheimen Norway')
Fairy Glen : (0.5142857142857142, 'Fairy Glen Skye Scotland UK')
Slettmarkmountains Jotunheimen Norway : (1.0, 'Slettmarkmountains Jotunheimen Norway')
Bryce Canyon : (0.1875, None)
Half Dome : (0.41025641025641024, 'Half Dome Yosemite National Park')
New Best
Jotunheimen Norway : (0.6415094339622641, 'Slettmarkmountains Jotunheimen Norway')
Fairy Glen : (0.5142857142857142, 'Fairy Glen Skye Scotland UK')
Slettmarkmountains Jotunheimen Norway : (1.0, 'Slettmarkmountains Jotunheimen Norway')
Bryce Canyon : (0.1875, None)
Half Dome : (0.41025641025641024, 'Half Dome Yosemite National Park')
New First
Jotunheimen Norway : (0.6415094339622641, 'Slettmarkmountains Jotunheimen Norway')
Fairy Glen : (0.5142857142857142, 'Fairy Glen Skye Scotland UK')
Slettmarkmountains Jotunheimen Norway : (1.0, 'Slettmarkmountains Jotunheimen Norway')
Bryce Canyon : None
Half Dome : (0.41025641025641024, 'Half Dome Yosemite National Park')
new_first_match非常简单。线
for str2, (pairs2, pairs2_len) in geodict.items():
遍历geodict中的每个项目，以提取每个字符串，二元组集和真实的二元组长度。
sum(x in pairs2 for x in pairs1)
计算pairs1中有多少个二元组是pairs2集的成员。
因此，对于每个地理名称字符串，我们计算相似性得分，如果其> =阈值（默认值为0.2），则将其返回。您可以给它一个不同的默认thresh，或在调用它时传递一个thresh。
new_best_match有点复杂。 ;）
((2.0 * sum(x in pairs2 for x in pairs1) / (pairs1_len + pairs2_len), str2)
for str2, (pairs2, pairs2_len) in geodict.items())
是一个生成器表达式。它遍历geodict项，并为每个地理名称字符串创建一个(score, str2)元组。然后，我们将该生成器表达式提供给max函数，该函数将返回得分最高的元组。
这是new_first_match的一个版本，实现了juvian在评论中提出的建议。这样可以节省一点时间。此版本还避免测试任何一个bigram是否为空。
def new_first_match(str1, thresh=0.2):
pairs1 = get_bigrams(str1)
pairs1_len = len(pairs1)
if not pairs1_len:
return None
hiscore = 0
for str2, (pairs2, pairs2_len) in geodict.items():
if not pairs2_len:
continue
total_len = pairs1_len + pairs2_len
bound = 2.0 * pairs1_len / total_len
if bound >= hiscore:
score = 2.0 * sum(x in pairs2 for x in pairs1) / total_len
if score >= thresh:
return score, str2
hiscore = max(hiscore, score)
return None
一个更简单的变化是不必费心计算hiscore，而只是将bound与thresh进行比较。
答案 1 :(得分：1)
我使用SymSpell端口连接到python进行拼写检查。如果要尝试使用processInput，则需要为其添加代码，最好对它使用2Ring调整。
from symspellpy.symspellpy import SymSpell, Verbosity # import the module
import csv
geonames = [
'Slettmarkmountains Jotunheimen Norway',
'Fairy Glen Skye Scotland UK',
'Emigrant Wilderness California',
'Yosemite National Park',
'Half Dome Yosemite National Park',
]
mynames = [
'Jotuheimen Noway',
'Fairy Gen',
'Slettmarkmountains Jotnheimen Norway',
'Bryce Canyon',
'Half Domes',
]
frequency = {}
buckets = {}
def generateFrequencyDictionary():
for geo in geonames:
for word in geo.split(" "):
if word not in frequency:
frequency[word] = 0
frequency[word] += 1
with open("frequency.txt", "w") as f:
w = csv.writer(f, delimiter = ' ',lineterminator='\r')
w.writerows(frequency.items())
def loadSpellChecker():
global sym_spell
initial_capacity = len(frequency)
# maximum edit distance per dictionary precalculation
max_edit_distance_dictionary = 4
prefix_length = 7
sym_spell = SymSpell(initial_capacity, max_edit_distance_dictionary,
prefix_length)
# load dictionary
dictionary_path = "frequency.txt"
term_index = 0 # column of the term in the dictionary text file
count_index = 1 # column of the term frequency in the dictionary text file
if not sym_spell.load_dictionary(dictionary_path, term_index, count_index):
print("Dictionary file not found")
return
def splitGeoNamesIntoBuckets():
for idx, geo in enumerate(geonames):
for word in geo.split(" "):
if word not in buckets:
buckets[word] = set()
buckets[word].add(idx)
def string_similarity(str1, str2):
pass
def processInput():
for name in mynames:
toProcess = set()
for word in name.split(" "):
if word not in buckets: # fix our word with a spellcheck
max_edit_distance_lookup = 4
suggestion_verbosity = Verbosity.CLOSEST # TOP, CLOSEST, ALL
suggestions = sym_spell.lookup(word, suggestion_verbosity, max_edit_distance_lookup)
if len(suggestions):
word = suggestions[0].term
if word in buckets:
toProcess.update(buckets[word])
for index in toProcess: # process only sentences from related buckets
string_similarity(name, geonames[index])
generateFrequencyDictionary()
loadSpellChecker()
splitGeoNamesIntoBuckets()
processInput()