Question

我有很多文件需要下载。

我正在使用download.file()函数和furrr::map与plan(strategy = "multicore")并行下载。

请告知我如何为每个未来加载更多工作？

在具有8个内核的Ubuntu 18.04上运行。 R版本3.5.3。

文件可以是txt，zip或任何其他格式。大小范围为5MB-40MB。

Answer 1

使用furrr可以正常工作。我认为您的意思是furrr::future_map。使用multicore可以大大提高下载速度（ Note ：在Windows上，multicore不可用，只有multisession可用。如果不确定，请使用multiprocess您的代码将在哪个平台上运行。

library(furrr)
#> Loading required package: future

csv_file <- "https://raw.githubusercontent.com/UofTCoders/rcourse/master/data/iris.csv"

download_template <- function(.x) {
    temp_file <- tempfile(pattern = paste0("dl-", .x, "-"), fileext = ".csv")
    download.file(url = csv_file, destfile = temp_file)
}

download_normal <- function() {
    for (i in 1:5) {
        download_template(i)
    }
}

download_future_core <- function() {
    plan(multicore)
    future_map(1:5, download_template)
}

download_future_session <- function() {
    plan(multisession)
    future_map(1:5, download_template)
}

library(microbenchmark)

microbenchmark(
    download_normal(),
    download_future_core(),
    download_future_session(),
    times = 3
)
#> Unit: milliseconds
#>                       expr       min        lq      mean    median
#>          download_normal()  931.2587  935.0187  937.2114  938.7787
#>     download_future_core()  433.0860  435.1674  488.5806  437.2489
#>  download_future_session() 1894.1569 1903.4256 1919.1105 1912.6942
#>         uq       max neval
#>   940.1877  941.5968     3
#>   516.3279  595.4069     3
#>  1931.5873 1950.4803     3

由reprex package（v0.2.1）于2019-03-25创建

请记住，我正在使用Ubuntu，所以使用Windows可能会改变事情，因为据我了解，未来不允许Windows上使用多核。

我只是在猜测，但是multisession较慢的原因可能是因为它必须在运行download.file函数之前打开多个R会话。我只是下载一个很小的数据集（iris.csv），所以也许在花费更多时间的较大数据集上，打开R会话所花费的时间将被下载较大文件所花费的时间所抵消。

次要更新：

您可以将URL的向量传递到数据集到future_map中，以便它根据将来的包处理确定下载每个文件：

data_urls <- c("https:.../data.csv", "https:.../data2.csv")
library(furrr)
plan(multiprocess)
future_map(data_urls, download.file)
# Or use walk 
# future_walk(data_urls, download.file)

我该如何配置将来下载更多文件？

1 个答案: