Question

我正在尝试将Spark应用程序提交到Kubernetes集群，作业文件位于：/ opt / spark / applications / path，使用以下命令提交spark：

${SPARK_PATH}/bin/spark-submit \
--master <K8S_MASTER> \
--deploy-mode cluster \
--name spark-py-driver \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=spark-py:2.4.0-rc3 \
--conf spark.kubernetes.driver.pod.name=spark-py-driver \
--conf spark.executor.memory=2g \
--conf spark.driver.memory=2g \
local:///opt/spark/applications/spark_submit_test_job.py

尽管作业文件位于节点路径上，但仍然出现“没有此类文件或目录”错误。

python: can't open file '/opt/spark/applications/spark_submit_test_job.py': [Errno 2] No such file or directory

Answer 1

spark running on Kubernetes上的说明如下：

最后，请注意，在以上示例中，我们使用local://方案指定了具有特定URI的jar。此URI是已经在Docker映像中的示例jar的位置。

您需要使用图像中已经存在的脚本创建正确的Dockerfile。

更好的解决方案是使用可以在运行映像时加载的存储库，或者可以使用Remote Dependencies

Kubernetes集群中的Spark作业位置-无此类文件错误

1 个答案: