确保在所有群集节点上通过multidplyr对函数的依赖关系进行并行化

Question

我编写了一个函数，可以帮助我准备由multidplyr::get_default_cluster()跨越的集群中的所有节点，以执行并行任务。

它可以工作，但现在我缺少下一步：multidplyr（或朋友）中的任何“开箱即用”功能都可以帮助我识别所有功能（理想情况下还可以识别包装） ）我要并行化的功能的依赖性。

理想情况下，将会调用identify_dependencies_of("foo")，这会给我返回包含元素的列表

• functions（列出foo()的调用堆栈所调用的所有函数）
• packages（列出foo()的调用堆栈中使用的所有程序包依赖项）

目前，找出节点上实际需要哪些依赖项完全是“反复试验”，而我正在寻找可以简化此过程的事情。

示例

准备功能的定义

# devtools::install_github("hadley/multidplyr")
library(multidplyr)
library(magrittr)
#> Warning: package 'magrittr' was built under R version 3.5.2

prepare_cluster_nodes <- function(
  ...,
  funs = Character(),
  pkgs = Character()
) {
  # Capture dots -----
  dots <- rlang::dots_list(...)
  dots_env <- rlang::as_env(dots)

  # Initialize cluster -----
  cl <- multidplyr::get_default_cluster()

  # Variables -----
  dots %>%
    names() %>%
    purrr::map(function(.x) {
      value <- rlang::env_get(dots_env, nm = .x)
      multidplyr::cluster_assign_value(cl, .x, value)
    })

  # Functions -----
  funs %>%
    purrr::map(function(.x) {
      value <- get(.x)
      multidplyr::cluster_assign_value(cl, .x, value)
    })

  # Packages -----
  pkgs %>%
    purrr::map(function(.x) {
      multidplyr::cluster_library(cl, .x)
    })

  cl
}

示例并行调用的功能定义

# Function defs -----
foo <- function(x, y) {
  x %>% 
    dplyr::mutate(
      value = bar(value) * y
    )
}

bar <- function(x) x * 1000 

准备节点

# Prepare nodes -----
y <- -1

cl <- prepare_cluster_nodes(
  y = y, 
  funs = c("foo", "bar"), 
  pkgs = c("dplyr", "ggplot2")
)
#> Initialising 3 core cluster.
#> 
#> Attaching package: 'dplyr'
#> The following objects are masked from 'package:stats':
#> 
#>     filter, lag
#> The following objects are masked from 'package:base':
#> 
#>     intersect, setdiff, setequal, union

cl %>% multidplyr::cluster_ls()
#> [[1]]
#> [1] "bar" "foo" "y"  
#> 
#> [[2]]
#> [1] "bar" "foo" "y"  
#> 
#> [[3]]
#> [1] "bar" "foo" "y"

并行调用

# Parallelized call -----
df <- tibble::tibble(id = 1:10000, value = 1:10000)
df %>% 
  multidplyr::partition(id) %>% 
  dplyr::do(foo(., y = y))
#> Warning: group_indices_.grouped_df ignores extra arguments
#> Source: party_df [10,000 x 2]
#> Groups: id
#> Shards: 3 [3,333--3,334 rows]
#> 
#> # Description: S3: party_df
#>       id  value
#>    <int>  <dbl>
#>  1     6  -6000
#>  2     8  -8000
#>  3     9  -9000
#>  4    12 -12000
#>  5    13 -13000
#>  6    16 -16000
#>  7    18 -18000
#>  8    28 -28000
#>  9    33 -33000
#> 10    37 -37000
#> # ... with 9,990 more rows

由reprex包（v0.2.1）于2019-02-20创建