如果应用程序的两个实例同时运行，火花流是否会承担负载？

Question

最近我注意到，当我提交了两个流应用程序实例并且它们并行工作时，输入速率会有所变化。 当我杀死了另一个应用程序时，此图像来自其中一个应用程序。输入速率增加。

我正在订购MQTT消息代理，以将数据发送到应用程序。这是否意味着在两个应用程序之间分配了负载？

更多信息：应用程序处理完数据后，将其写入HBase，并且事务是幂等的，并且如果两次写入数据，则不会发生任何事情。

Answer 1

有多种方法可以识别它。

如果您要维护基于时间戳的hbase单元数据版本，则可以检查该特定数据单元有多少个时间戳版本。您可以通过hbase shell轻松检查。 Check this for referance

另一种方法是，您可以从两个流中使用流应用程序ID记录此数据。检查是否从两个流中都插入了相同的数据。