标签: spark-streaming
我有一个火花流应用程序,可以监控来自kafka的一些消息。对于特定的消息,我可能需要转到长循环以继续ping某些ip,直到重新连接。 我可以看到,当某个执行程序进入此循环时,它会停止处理流。 这是对的吗 ? 如何在不中断继续处理流的情况下进行此循环?
答案 0 :(得分:0)
是的,如果执行者在长时间运行的任务中被阻止,它们将无法进展。
我建议不要在遗嘱执行人身上运行这么长的过程。假设那些重新连接的情况在时间上很稀疏,我会在驱动程序中使用异步进程。 (来自池的期货或准系统线程)。