Question

是否存在与Sparklyr兼容的Spark版本的权威来源？还是有人可以阐明这一点？

我在macOS上使用Spark 2.4.x并没有成功；它们都无法连接，通常会产生“ Failed to connect to sparklyr to port 8880...”错误。

我终于可以使用Spark 2.3.0进行工作了。但是，如果我尝试安装2.3.3，则会收到错误消息：

> spark_install("2.3.3")
Error in spark_install_find(version, hadoop_version, installed_only = FALSE,  : 
  Spark version not available. Find available versions, using spark_available_versions()

可用版本为：

> spark_available_versions()
  spark
1   1.6
2   2.0
3   2.1
4   2.2
5   2.3
6   2.4

因此，这看起来像一个“权威”列表，但2.4无法正常工作。

此外，2.3仅意味着2.3.0吗？为什么不支持补丁发布？

Answer 1

您可以使用spark_available_versions(show_minor = T)列出次要版本，是的，sparklyr支持补丁程序版本。从最新版本开始：

   spark
1  1.6.3
2  1.6.2
3  1.6.1
4  1.6.0
5  2.0.0
6  2.0.1
7  2.0.2
8  2.1.0
9  2.1.1
10 2.2.0
11 2.2.1
12 2.3.0
13 2.3.1
14 2.3.2
15 2.3.3
16 2.4.0
17 2.4.1
18 2.4.2
19 2.4.3

Spark for Sparklyr的兼容版本

1 个答案: