我在AWS上使用kubernetes集群来运行spark作业，我正在使用spark 2.3，现在我想从AWS lambda函数运行spark-submit到k8s master，想知道是否有任何REST接口来运行Spark submit on k8s大师？
答案 0 :(得分：2)
不幸的是，如果您使用的是本地Kubernetes支持，Spark 2.3是不可能的。
根据部署说明中的描述，提交过程包含几个步骤：
驱动程序创建也在Kubernetes pod中运行的执行程序
驱动程序连接到它们，并执行应用程序代码
当应用程序完成时，执行程序窗格会终止并被清除，但驱动程序窗格会保留其日志并在Kubernetes API中保持“已完成”状态，直到它最终被垃圾收集或手动清理。
因此，实际上，在您开始提交过程之前，您无法提交作业，这将为您启动第一个Spark的pod（驱动程序）。只有一旦应用程序完成，一切都将终止。
请在the link
下查看此问题的类似答案