在Java Spark作业中获取Spark workerId

Question

我在本地模式下运行Spark。 SparkEnv.get().executorId()总是返回字符串“ driver”。我期望它对于每个工人/执行者都是唯一的。

我正在将文件上传到每个执行器内部的云中，并且每次都需要提供一个唯一的文件名。我当时正在考虑附加workerId。但是，由于这总是让我重返驱动程序，所以我不知道如何最好地获得唯一ID。