在Spark Streaming执行期间更改外部jar(热部署)

时间:2016-09-05 12:59:06

标签: apache-spark jar

火花流应用程序应该利用(通过外观)DSL,在运行时可以使用生成的Java编码或字节代码(ANTLR),并通过单独的jar部署到Spark工作节点。

交换包含生成的DSL的jar技术是否可行且可行?这就是火花流应用程序不会停止,但逻辑(DSL)在运行中发生了变化。您可能认为可以在Spark工作节点上交换jar并再次加载jar ...但由于Spark的分布式特性,我不知道这种方法是否会陷入混乱。

有没有任何关于热部署的概念' Spark中的外部工件还是仅仅超出了范围?

0 个答案:

没有答案