如何在没有安装Spark的机器上远程执行Spark作业?

时间:2015-10-02 16:33:21

标签: java apache-spark

我在远程PC上安装了spark,hadoop,cassandra,其地址为10.211.55.3,其名称为ubuntu。 (事实上​​,它是我的Mac上的虚拟机)。对于本地PC,我没有安装Spark,我只有Java(当然还有所有必需的jar文件)。

现在,可以在远程PC上启动主设备和多个从设备,spark-shell也可以在远程PC上正常工作。

我在本地PC上创建了一个Java项目,我希望在远程PC上连接到master以发布Spark作业,但无论我使用

,连接都会失败
new SparkConf().setAppName("TestApp").setMaster("spark://10.211.55.3:7077");

new SparkConf().setAppName("TestApp").setMaster("spark://ubuntu:7077");

我相信我应该使用带有IP地址的版本,但它会给我这些错误消息:

Could not connect to 10.211.55.3:7077: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@10.211.55.3:7077]
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@10.211.55.3:7077/), Path(/user/Master)]

所以我的问题是,是否可以在本地PC上执行带有Spark作业的Java应用程序(没有安装Spark,只有jar文件)? 如果可能,是否有一些选项/参数来启用它?或者绝对有必要在本地PC上安装Spark?

非常感谢!

修改1 : 好。我承认我在做什么......我有一台Mac,我已经安装了一台Ubuntu虚拟机。虚拟机的IP地址为10.211.55.3

此外,主/从服务器正在运行,我可以通过Web浏览器访问它们的状态,ip地址也能正常工作。

0 个答案:

没有答案