连接到spark独立群集在RStudio中不起作用

时间:2018-03-26 12:24:15

标签: r apache-spark rstudio ubuntu-16.04 sparkr

我创建了一个运行ubuntu服务器16.04的虚拟机。我已经安装了火花和所有依赖项&先决条件。我的Spark集群在VM上运行,所有worker和master都可以通过start-all.sh启动。
现在我尝试使用本地计算机上的Rstudio向这个集群提交sparkR作业。我用master =" spark://192.168.0.105:7077"指定了sparkContext。在调用IP:8080主WebUI时连接到显然正在运行的集群。是否有任何已指定的配置从其他设备调用主设备,而该设备尚未成为集群的一部分?

R中的错误是:

  

handleErrors(returnStatus,conn)出错:     java.lang.IllegalArgumentException:要求失败:只能在正在运行的MetricsSystem上调用getServletHandlers

1 个答案:

答案 0 :(得分:0)

您可以尝试使用Livy rest api接口。 https://livy.incubator.apache.org/

请参阅sparklyr - Connect remote hadoop cluster