除LIVY端口外,是否还需要其他端口将LIVY与Sparklyr一起使用?(默认值为8998)。
我有两台尝试将Spakrlyr与LIVY结合使用的机器:
集群(Cloudera)位于 B区。当我在与群集相同的区域中的linux服务器上运行以下代码时,一切正常:
library(sparklyr)
library(dplyr)
library(DBI)
sc <- spark_connect(master = "http://<my_cluster_and_domain>:8998", method = "livy")
我已要求在防火墙A区域和B区域之间打开以下端口: 8021-8090和 8998 ,但是我无法获得Spark上下文在我的Windows计算机上。在群集上设置了defulat LIVY端口8998。上面的代码基本上挂死了,永远没有任何答案。
在启用LIVY之前,我尝试使用我能想象的所有可能的变体/参数进行“正常”连接,结果始终相同-挂起的spark_connection调用,没有任何答案。
我还能够从Windows计算机上打开LIVY控制台(“ http://my_cluster_and_domain:8998/ui”)并通过Python中的请求将Spark作业发送给LIVY,因此允许默认端口8998上的连接进入FW。
在Windows计算机上,我具有R 3.5.3(64位)和Sparklyr 1.0.0。
谢谢您的提示。