Spark：执行者的唯一ID

Question

是否可以在Spark中使用Accumulator生成一个唯一的ID，可以在执行程序中读取，以某种方式生成某种“唯一ID”？从文档中我可以理解，您只能从驱动程序访问它。万一，有没有替代路径？

Answer 1

  

是否可以使用Spark中的Accumulator生成唯一ID

不可能

  

有没有替代路径？

• zipWithIndex或zipWithUniqueId代表RDD。
• withColumn("id", monotonically_increasing_id())代表Dataset[Row] / DataFrame。