火花群集模式下的UnknownHostException

时间:2020-04-24 06:26:03

标签: apache-spark kubernetes

我在kubernetes中有一个正在运行的独立spark集群(1个master和5个worker),并且我正在集群模式下执行spark-submit。 但我收到UnknownHostException

原因:java.io.IOException:无法连接到 sw-care-alice-staging-f4c869cc-4tkpb:46105原因:java.net.UnknownHostException:sw-care-alice-staging-f4c869cc-4tkpb

这是我的spark-submit命令

spark-2.4.3-bin-hadoop2.7/bin/spark-submit --class LogParser.LogBundleConfigFetcher --conf spark.submit.deployMode=cluster --conf spark.network.timeout=300 --conf spark.scheduler.mode=FAIR --conf spark.master=spark://sm-care-alice-staging:7077 --conf spark.executor.cores=5 --conf spark.executor.memory=20g --conf spark.dynamicAllocation.maxExecutors=3 --conf spark.driver.memory=16g --conf spark.dynamicAllocation.enabled=false --conf spark.cores.max=15 http://minio.platform.svc.cluster.local:9000/alice-care/staging/config/spark/aliceparser.jar 

注意:它可以在客户端模式下完美运行。但是在集群模式下,如果我在/ etc / host中手动添加Spark-workers的主机项,则可以正常工作。 我想避免手动添加主机。请提出相同的任何方法。

0 个答案:

没有答案