pySpark：获取执行者ID

Question

运行pySpark代码时如何获取执行者ID？我知道使用scala我可以使用SparkEnv.get().executorId()，但在使用pySpark时我找不到相应的内容。

Answer 1

您可以使用REST API查询执行者，我已在pySparkUtils中使用它来查找executor IPs

波阿斯

Answer 2

Spark UI将允许您访问执行者ID以及他们各自的绩效指标。