使用parLapply函数以加快API调用

时间:2019-03-07 16:22:43

标签: parallel-processing lapply

我最近创建了这个小脚本,以借助lapply功能来检索“搜索量”中的关键字列表。 请参见下面的脚本:

library(plyr)

mes_keywords_to_check <- readLines("useo_rumbo_es - Copy.txt") 
mes_keywords_to_check <- as.character(mes_keywords_to_check)

result <- lapply(mes_keywords_to_check, function(x) {
 keyword_overview_all(x, "es", "API key")
})

result_test <- as.data.frame(do.call(rbind, result))

此脚本工作正常,但是问题是当我要检查较大的列表(100 000个关键字)时,这太慢了。

然后我尝试了parLapply函数。这是我编写的代码,但这不起作用。 (仅供参考,我在Windows上)

# Calculate the number of cores
no_cores <- detectCores() - 1

# Initiate cluster
cl <- makeCluster(no_cores)

base <- 2
clusterExport(cl, "base")


resultss <- parLapply(cl, 
           mes_keywords_to_check, 
          function(x) {keyword_overview_all(x, "es", "API key")}
            base)

这是我的错误:

错误:出现意外符号:

"          function(x)  {keyword_overview_all(x, "es", "API KEY")}
            base"

我真的很喜欢这段代码...你有什么主意吗?

0 个答案:

没有答案