Question

我不止一种意义上的新人。关于我第一次尝试使用任何编程语言的第一篇文章的第一篇文章。鉴于此，你可能会发现这个项目过于雄心勃勃，但是嘿，从实践中学习一直是要走的路。我在这里尽力满足stackoverflow礼仪，但如果我违反任何规定，请告诉我。

我想编写一段代码，可以应用某种模糊逻辑来匹配非结构化公司名称表（例如Google）与结构化公司名称表（例如Google Inc.）和丹麦公司标识符（{ {1}}）。

我通过谷歌搜索找到了一些代码，我设法操纵它们来处理我的项目。我发现CVR包中包含的Jaro-Winkler算法对公司名称的效果特别好。当尝试将40个非结构化公司名称与几百个结构化名称进行比较和匹配时，该脚本完全正常，但我需要使用包含700k结构化名称的表来比较和匹配大约4000个非结构化名称。你可能已经猜到这需要永远。为了给你一个想法，我尝试将6个非结构化名称与700k匹配，这需要花费3个小时。一个快速的计算告诉我，如果这是脚本的平均速度，它将使我处理4000家公司将近3个月，这有点压倒性。我知道它必须进行数十亿次计算，而这在几分钟内无法完成。如果我可以将这个最小化到可能只有几天，我会非常高兴，我觉得这一定是可能的。

所以，我正在寻找加速这段代码的方法。我已经设法通过最初将精确匹配与stringdist函数配对来改进它，这使得大约500家公司通过模糊匹配算法进行进一步处理。不过，至少可以说很长一段时间。

我希望我能清楚地解释自己！任何建议都将受到高度赞赏。

match()

编辑：以下是一些可以使用的数据示例：structured_companies_w_CVR和unstructured_companies

Answer 1

我描述了你的代码并发现了一些加速。我尽可能地保留您的命名约定，以便您可以匹配差异。我将文件保存在工作目录中以进行测试。

根据您需要的列和所需的记录创建一个空数据框。在循环中，您更新记录而不是使用cbind。这大大加快了代码的速度。我一直得到一个system.time为0.因为R不知道数据帧的大小，它使用rbind进行常量复制，如果你有很多行，往往会减慢进程的速度。另见post。即使数据帧比您需要的更大，更新记录也要快得多。

编辑：我设法从循环中删除除匹配函数之外的所有内容，数据帧的其余部分可以使用已经可用的其他数据部分的矢量/输入来完成。
我在代码中添加了一个并行选项，并使用了stringdistmatrix。如果可用，此函数并行运行，但您也不需要任何循环来进行距离计算。

代码部分：

library(stringdist)
library(parallel)


#Reading the two files to be compared and making sure that I'm dealing with characters
companies.unstructured <- read.csv("unstructured_companies.csv", 
                                   sep = ";", 
                                   stringsAsFactors = FALSE)
companies.structured <- read.csv("structured_companies_w_CVR.csv", 
                                 sep=";",
                                 stringsAsFactors = FALSE)

#Using the match function to match up all 100% identical companies to avoid unnecessary workload for the Jaro-Winkler loop
companies.unstructured$CVR <- companies.structured$CVR[match(companies.unstructured$Company, 
                                                             companies.structured$Company)]
companies.exact.match <- companies.unstructured[!is.na(companies.unstructured$CVR), ]

#Creating a subset to work on with the Jaro-Winkler loop.
companies.unstructured.na <- subset(companies.unstructured, is.na(CVR))

distance.method <- "jw"

# Parallel section starts here
# set number of cores to use. 
cores = 3
# initialize cluster
cl = makeCluster(cores, type = "SOCK")


# create distance matrix, shortest column will be recycled. 
# See stringdistmatrix documentation
dist.name.enh <- stringdistmatrix(tolower(companies.structured$Company),
                                  tolower(companies.unstructured.na$Company),
                                  method = distance.method,
                                  nthread = getOption("sd_num_thread"))

# get the minimun jaro distances from the matrix
min.name.enh <- parApply(cl, dist.name.enh, 2, base::min)

# stop the cluster
stopCluster(cl)
# Parallel section ends here

# create dataframe prefilled with empty values.
match.s1.s2.enh2 <- data.frame(s2.i = rep(NA, nrow(companies.unstructured.na)),
                               s1.i = rep(NA, nrow(companies.unstructured.na)),
                               s1Company = rep(NA, nrow(companies.unstructured.na)),
                               s2Company = rep(NA, nrow(companies.unstructured.na)),
                               CVR = rep(NA, nrow(companies.unstructured.na)),
                               adist = rep(NA, nrow(companies.unstructured.na)),
                               method = rep(NA, nrow(companies.unstructured.na)))

# fill s2.i with NA values for the length needed in the for loop
s2.i <- rep(NA, ncol(dist.name.enh))

# matching up pairs of minimum distance.
for(i in 1:ncol(dist.name.enh)) {
  s2.i[i]<-match(min.name.enh[i],dist.name.enh[,i])
}

match.s1.s2.enh2$s2.i <- s2.i
match.s1.s2.enh2$s1.i <- 1:ncol(dist.name.enh)
match.s1.s2.enh2$s1Company <- companies.unstructured.na$Company
match.s1.s2.enh2$adist <- min.name.enh
match.s1.s2.enh2$method <- distance.method
match.s1.s2.enh2$s2Company <- companies.structured$Company[s2.i] 
match.s1.s2.enh2$CVR <- companies.structured$CVR[s2.i]

加速循环计算R

1 个答案: