Spark / k8s：如何在集群部署模式下在特定工作程序上运行Spark提交

Question

我正在尝试使我的驱动程序在集群部署模式下运行时在特定的工作程序上运行

这些是我的工人-

spark-admin-worker-578dcd5d4d-8j86b                               1/1     Running            0          8m25s   10.200.0.14    k8s-node2   <none>           <none>
spark-admin-worker-578dcd5d4d-g576r                               1/1     Running            0          8m25s   10.200.0.8     k8s-node2   <none>           <none>
spark-admin-worker-578dcd5d4d-mlc4j                               1/1     Running            0          8m25s   10.204.0.33    k8s-node1   <none>           <none>
spark-admin-worker-578dcd5d4d-mxnst                               1/1     Running            0          8m25s   10.204.0.3     k8s-node1   <none>           <none>

我尝试使用多个配置来运行，这实际上是成功运行的组合，但是我无法使其坚持我想要的工人

spark-submit --deploy-mode cluster  --conf spark.driver.bindAddress=0.0.0.0 --conf spark.driver.host=10.200.0.14 --class org.apache.spark.examples.SparkPi /spark/examples/jars/spark-examples_2.11-2.4.4.jar 1000

深入研究spark source code似乎就像是在不检查任何已配置参数的情况下随机选择了一个工作程序