我有两个通过jdbc连接器连接到kafka的postgres数据库,因此我的流应用程序有两个可用的主题。
我阅读以下主题:
KafkaUtils.createDirectStream(
ssc,
LocationStrategies.PreferConsistent(),
ConsumerStrategies.Subscribe(topics, kafkaParams));
我的topics = new ArrayList<>();
包含主题名称列表。
我还在此键配置中添加了此键:
"spark.streaming.concurrentJobs", "2")
所有似乎正常工作,但我看到该应用程序从一个主题中读取,然后停留在第二个主题上,并且没有错误地停止了工作。
如果我只使用一个主题,那么一切都很好。
有人可以帮我吗?