Question

我在Windows服务器上使用Spark 2.0.2与RStudio上的sparklyr 0.5.4-9004结合使用。

每隔一段时间，当我尝试从spark服务器收集，读取或写入数据时，我收到以下错误：

Error in UseMethod("invoke") : 
  no applicable method for 'invoke' applied to an object of class "character"

我不确定它是服务器问题，还是sparklyr的问题。

到目前为止，我必须解决此问题的唯一方法是重新启动与Spark的sparklyr连接。

以下是我使用的简单代码：

sc <- spark_connect(master = "spark://####:7077")

tibble_file_parquet <- spark_read_parquet(
  sc, "file_parquet", path, overwrite = TRUE)

result <- tibble_file_parquet %>% count(x, y)

collect(result)

Answer 1

当内存不足时会发生这种情况。配置文件中的这一更改对我有帮助（虽然我不是内存管理方面的专家）。

config$'spark.dynamicAllocation.enabled' <- "true"

R - 无法使用Sparklyr从Spark收集数据

1 个答案: