远程使用火花簇

时间:2016-02-11 16:34:37

标签: apache-spark

我正在尝试远程使用火花星团,所以基本上我有3个节点,1个主人和2个工人'远'从我的笔记本电脑,但我想用它们来进行计算。 我可以轻松连接到驱动程序输入: ./spark-shell --master spark://xxx.xxx.xxx.xxx:7077

我在驱动程序的spark web界面上看到我的应用程序,但是没有执行操作,我认为因为应该连接到我的工作人员有网络问题。 所以我在spark-env.sh上设置我的公共IP: SPARK_LOCAL_IP = XX.XX.15.215

但是这样做我得到了:

16/02/11 16:34:04 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04 WARN Utils:Service' sparkDriver'无法绑定端口0.尝试端口1。 16/02/11 16:34:04错误SparkContext:初始化SparkContext时出错。

1 个答案:

答案 0 :(得分:0)

DNS条目正确并且工作人员和主人能够连接到驱动程序非常重要。如果使用主机名无法直接访问它们,则可以将spark.driver.hostspark.driver.port指定为spark submit命令的一部分。

有关我遇到的类似问题,请参阅this