如何从群集的Spark节点使用Akka actor

Question

让Spark集群运行某个应用程序，我想使用Akka actor从集群中的每个Spark节点中流式传输数据。也就是说：节点以某种方式处理数据，并行，actor正在将节点内的其他一些数据发送到外部进程。

现在，这些是可能的选择：

1. 只需通过常规ActorSystem创建ActorRef：不可能，因为ActorSystem实例不是Serializable，它会在运行时失败
2. 使用Spark内部ActorSystem来创建actor：因为Spark.get.ActorSystem的Spark 1.4是deprecated
，所以不是一个好的选择

如果上述选项无效，那么Spark节点实例化给定actor的最佳方法是什么？它有可能吗？

这个问题与this one有些相关，尽管在更广泛的范围内制定

注意：我知道我可以以某种方式使用Spark流式传输此方案，但目前我想探索纯Akka选项的可行性