是否可以知道特定Spark作业使用的资源？

Question

我正在借鉴使用多租户Spark集群的想法。集群根据需要为特定租户执行作业。

是否可以“知道”特定工作使用的特定资源（出于付款原因）？例如。如果一项作业需要自动分配kubernetes中的几个节点，那么是否可以追踪启动这些资源分配的Spark作业（最后是租户）？还是总是在分配的资源上平均分配工作？

试图在Apache Spark网站以及互联网上其他任何地方找到信息。

Answer 1

请参见https://spark.apache.org/docs/latest/monitoring.html

您可以将Spark History Server中的数据另存为json，然后编写自己的资源计算内容。

您的意思是Spark App。