rg.apache.spark.SparkException:无效的主URL:spark://tasks.501393358-spark-master:7077

时间:2017-03-10 00:46:15

标签: apache-spark docker

我有2个火花星团 - 全球火花大师,100火花大师。 我创建了2个火花工作者,一个用于全球火花大师,一个用于100火花大师。所有都是在单个节点中创建的。

全球火花工人正在全球火花大师身上。 但是100-spark-worker没有上升,我得到以下例外。

如何解决这个问题?

线程中的异常" main" org.apache.spark.SparkException:无效的主URL:spark://tasks.100-spark-master:7077     在org.apache.spark.util.Utils $ .extractHostPortFromSparkUrl(Utils.scala:2330)     在org.apache.spark.rpc.RpcAddress $ .fromSparkURL(RpcAddress.scala:47)     在org.apache.spark.deploy.worker.Worker $$ anonfun $ 13.apply(Worker.scala:714)     在org.apache.spark.deploy.worker.Worker $$ anonfun $ 13.apply(Worker.scala:714)     在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:234)     在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:234)     在scala.collection.IndexedSeqOptimized $ class.foreach(IndexedSeqOptimized.scala:33)

我创建这些服务的方式是

全球网络:

docker service create --name global-spark-master --limit-cpu 8 --limit-memory 24GB --reserve-cpu 4 --reserve-memory 12GB --network global --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.master.Master -i tasks.global-spark-主'

docker service create --name global-spark-worker --limit-cpu 8 --limit-memory 24GB --reserve-cpu 4 --reserve-memory 12GB --network global --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.worker.Worker spark://tasks.global-火花主:7077'

特定网络:

docker service create --name 100-spark-master --limit-cpu 2 --limit-memory 12GB --reserve-cpu 2 --reserve-memory 6GB --network 100 --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.master.Master -i tasks.100-spark-主'

docker service create --name 100-spark-worker --limit-cpu 2 --limit-memory 12GB --reserve-cpu 1 --reserve-memory 6GB --network 100 --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.worker.Worker spark://tasks.100-火花主:7077'

0 个答案:

没有答案