如何与火花流作业交互?

时间:2019-10-19 08:39:31

标签: hdfs spark-streaming

考虑到正在运行的Spark Streaming作业,我想发送一些信号来告诉它执行通常由驱动程序在启动时完成的操作。

例如,读取JSON(配置文件),然后在开始时将其推送到每个执行器。 JSON使分布式进程有行为。

但是我可能需要修改此JSON,而我想要的显然是将其重新推送给每个执行者...

那么有没有比这更好的方法了?

0 个答案:

没有答案