Spark流可以在执行器上创建一个线程

Question

我有关于火花流的问题。在我的spark流应用程序中，我有一个代码在worker / executor上作为任务运行（在处理RDD时在foreachPartition（）内部）。我想创建一个线程作为此代码的一部分，它将在执行器/工作器启动时直到执行器处于活动状态时连续运行，收听一些外部事件并根据它执行某些操作。

这可以用火花流吗？

Answer 1

您可以尝试将其纳入自定义接收。您可以在Implementing a Custom Receiver中找到一些详细信息。否则它在Spark流媒体中不太适合。

可以在驱动器上启动线程，但我知道它不是你想要的。