我有2个火花星团 - 全球火花大师,100火花大师。 我创建了2个火花工作者,一个用于全球火花大师,一个用于100火花大师。所有都是在单个节点中创建的。
全球火花工人正在全球火花大师身上。 但是100-spark-worker没有上升,我得到以下例外。
如何解决这个问题?
线程中的异常" main" org.apache.spark.SparkException:无效的主URL:spark://tasks.100-spark-master:7077 在org.apache.spark.util.Utils $ .extractHostPortFromSparkUrl(Utils.scala:2330) 在org.apache.spark.rpc.RpcAddress $ .fromSparkURL(RpcAddress.scala:47) 在org.apache.spark.deploy.worker.Worker $$ anonfun $ 13.apply(Worker.scala:714) 在org.apache.spark.deploy.worker.Worker $$ anonfun $ 13.apply(Worker.scala:714) 在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:234) 在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:234) 在scala.collection.IndexedSeqOptimized $ class.foreach(IndexedSeqOptimized.scala:33)
我创建这些服务的方式是
docker service create --name global-spark-master --limit-cpu 8 --limit-memory 24GB --reserve-cpu 4 --reserve-memory 12GB --network global --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.master.Master -i tasks.global-spark-主'
docker service create --name global-spark-worker --limit-cpu 8 --limit-memory 24GB --reserve-cpu 4 --reserve-memory 12GB --network global --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.worker.Worker spark://tasks.global-火花主:7077'
docker service create --name 100-spark-master --limit-cpu 2 --limit-memory 12GB --reserve-cpu 2 --reserve-memory 6GB --network 100 --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.master.Master -i tasks.100-spark-主'
docker service create --name 100-spark-worker --limit-cpu 2 --limit-memory 12GB --reserve-cpu 1 --reserve-memory 6GB --network 100 --network xyzservice --with- registry-auth pricecluster1:5000 / nimbus / xinnici_spark:2.0.2 sh -c' / opt / spark / bin / spark-class org.apache.spark.deploy.worker.Worker spark://tasks.100-火花主:7077'