Sparklyr与LIVY一起使用的端口

时间:2019-04-25 12:06:06

标签: r apache-spark cloudera sparklyr livy

除LIVY端口外,是否还需要其他端口将LIVY与Sparklyr一起使用?(默认值为8998)。

我有两台尝试将Spakrlyr与LIVY结合使用的机器:

  • 我在网络 A区
  • 中的本地Windows工作站
  • 在网络 B区
  • 中具有R的远程linux服务器

集群(Cloudera)位于 B区。当我在与群集相同的区域中的linux服务器上运行以下代码时,一切正常

library(sparklyr)
library(dplyr)
library(DBI)
sc <- spark_connect(master = "http://<my_cluster_and_domain>:8998", method = "livy")

我已要求在防火墙A区域和B区域之间打开以下端口: 8021-8090和 8998 ,但是我无法获得Spark上下文在我的Windows计算机上。在群集上设置了defulat LIVY端口8998。上面的代码基本上挂死了,永远没有任何答案。

在启用LIVY之前,我尝试使用我能想象的所有可能的变体/参数进行“正常”连接,结果始终相同-挂起的spark_connection调用,没有任何答案。

我还能够从Windows计算机上打开LIVY控制台(“ http://my_cluster_and_domain:8998/ui”)并通过Python中的请求将Spark作业发送给LIVY,因此允许默认端口8998上的连接进入FW。

在Windows计算机上,我具有R 3.5.3(64位)和Sparklyr 1.0.0。

谢谢您的提示。

0 个答案:

没有答案