kafka流媒体驱动程序是否等待执行程序完成?

时间:2017-10-01 12:56:04

标签: spark-streaming

我有一个火花流应用程序,可以监控来自kafka的一些消息。对于特定的消息,我可能需要转到长循环以继续ping某些ip,直到重新连接。 我可以看到,当某个执行程序进入此循环时,它会停止处理流。 这是对的吗 ? 如何在不中断继续处理流的情况下进行此循环?

1 个答案:

答案 0 :(得分:0)

是的,如果执行者在长时间运行的任务中被阻止,它们将无法进展。

我建议不要在遗嘱执行人身上运行这么长的过程。假设那些重新连接的情况在时间上很稀疏,我会在驱动程序中使用异步进程。 (来自池的期货或准系统线程)。