Spark Straming和多个主题订阅

时间:2019-04-15 08:34:56

标签: java apache-spark parallel-processing streaming

我有两个通过jdbc连接器连接到kafka的postgres数据库,因此我的流应用程序有两个可用的主题。

我阅读以下主题:

KafkaUtils.createDirectStream(
        ssc,
        LocationStrategies.PreferConsistent(),
        ConsumerStrategies.Subscribe(topics, kafkaParams));

我的topics = new ArrayList<>();

包含主题名称列表。

我还在此键配置中添加了此键:

"spark.streaming.concurrentJobs", "2")

所有似乎正常工作,但我看到该应用程序从一个主题中读取,然后停留在第二个主题上,并且没有错误地停止了工作。

如果我只使用一个主题,那么一切都很好。

有人可以帮我吗?

0 个答案:

没有答案