我正在尝试在AWS的Kubernetes集群上运行PySpark。
我正在使用spark-submit命令向集群提交并在Kubernetes仪表板中查看结果。
驱动程序pod可以很好地创建，但是执行程序经常无法启动，并出现以下错误之一：
Failed to pull image "docker.io/joemalt/[image-name]:[tag]": rpc error: code = Unknown desc = Error response from daemon: unauthorized: authentication required
Failed to pull image "docker.io/joemalt/[image name]:[tag]": rpc error: code = Unknown desc = Error response from daemon: error parsing HTTP 404 response body: invalid character 'p' after top-level value: "404 page not found\n"
Kubernetes尝试重新创建Pod，但是错误非常频繁，以至于常常无法使任何执行程序Pod都正常工作。
设置驱动程序吊舱或手动拉动图像时，这些错误均不会发生。该存储库是公共的，因此authentication required对我来说毫无意义。我尝试替换Kubernetes集群，但没有成功。