我在客户端和群集模式下运行Spark。是否有任何可用于杀死正在运行的火花应用程序和驱动程序的其他URL?
答案 0 :(得分:3)
目前Spark有一个hidden REST API。未来它可能是公开的(参见问题SPARK-12528)。但是,目前它仍然是私有的,所以您应该自担风险使用它 - 这意味着如果下一个Spark版本的API发生变化,您需要更新代码。
否则,您可以使用Spark-server,但这会带来更多您可能不需要的软件包/依赖项。
答案 1 :(得分:1)
curl -X PUT'http://localhost:8088/ws/v1/cluster/apps/application_1524528223375_0082/state'-d'{“state”:“KILLED”}'
答案 2 :(得分:0)
如果在纱线上运行,您可以使用“纱线应用程序-kill application_XXXX_ID”来终止应用程序。
此命令也可以使用YARN REST API发布,其中包含列出here或official docs
列出的调用的正确描述博文apache-spark-hidden-rest-api实际上使用了YARN REST API。
如上所述,上述内容仅适用于YARN。
答案 3 :(得分:0)
如果您有submissionId,请尝试此操作: -
curl -X POST http://spark-cluster-ip:6066/v1/submissions/kill/driver-20151008145126-0000