我在远程PC上安装了spark,hadoop,cassandra,其地址为10.211.55.3
,其名称为ubuntu
。 (事实上,它是我的Mac上的虚拟机)。对于本地PC,我没有安装Spark,我只有Java(当然还有所有必需的jar文件)。
现在,可以在远程PC上启动主设备和多个从设备,spark-shell
也可以在远程PC上正常工作。
我在本地PC上创建了一个Java项目,我希望在远程PC上连接到master以发布Spark作业,但无论我使用
,连接都会失败new SparkConf().setAppName("TestApp").setMaster("spark://10.211.55.3:7077");
或
new SparkConf().setAppName("TestApp").setMaster("spark://ubuntu:7077");
我相信我应该使用带有IP地址的版本,但它会给我这些错误消息:
Could not connect to 10.211.55.3:7077: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@10.211.55.3:7077]
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@10.211.55.3:7077/), Path(/user/Master)]
所以我的问题是,是否可以在本地PC上执行带有Spark作业的Java应用程序(没有安装Spark,只有jar文件)? 如果可能,是否有一些选项/参数来启用它?或者绝对有必要在本地PC上安装Spark?
非常感谢!
修改1 :
好。我承认我在做什么......我有一台Mac,我已经安装了一台Ubuntu虚拟机。虚拟机的IP地址为10.211.55.3
。
此外,主/从服务器正在运行,我可以通过Web浏览器访问它们的状态,ip地址也能正常工作。