在纱线上的火花流动应用的HA

时间:2017-07-17 07:26:56

标签: apache-spark spark-streaming yarn high-availability

我们正在使用cloudera定义的集群上的yarn-cluster上运行spark streaming应用程序。 我们将其中一个节点定义为spark-gateway,我们从该节点运行spark-submit命令。 我们想测试集群的HA,然后测试不同节点崩溃时发生的情况(我们停止它们)。 我们看到,当我们停止驱动程序节点时,应用程序仍然继续运行,但它没有做任何事情,并且在查看" yarn -list"它仍将停止的节点写为驱动程序节点。当我们开始返回节点时,应用程序返回工作并且驱动程序节点更改为另一个节点,但这仅在节点备份时发生。一旦驱动程序节点死亡,就不应该将驱动程序更改为另一个节点吗? 我们看到的另一件事是,如果我们终止应用程序停止的spark-gateway节点。 我们如何运行应用程序,以便它不会有任何一点故障转移?

0 个答案:

没有答案