Apache Spark：如何将自定义消息从执行器发送到驱动程序

Question

是否可以将一些自定义消息从Executor发送到Apache Spark中的驱动程序？从驱动程序和执行程序日志中可以很明显地看出，正在发生很多框架级通信，但是我没有找到任何API在进程之间发送自定义消息。请告知。

Answer 1

我认为您可以使用累加器！ 阅读以下内容：https://www.tutorialspoint.com/apache_spark/advanced_spark_programming.htm

您不能发送消息，但是可以在执行程序处聚合数据，并在并行计算结束后在驱动程序上使用它们。