如何动态联合多个DStream ..?

时间:2018-01-24 11:03:06

标签: scala apache-spark

我正在尝试加入多个Dstream(通过从Kafka订阅多个主题创建)动态。我无法保存所有组合流数据,任何人都可以帮助我加入多个Dstream。

在我的轰鸣声代码中,我正在循环讨论主题和构建Dstreams,我只能将两个Dstream组合在一起。 我不知道如何创建空Dstream,我想如果我们创建空Dstream,我们就可以实现这一点。

贝娄是我的代码:

abc_f25f_xxxxx.gif
vcvbn_te4we_dsfg
q12_f4wse_brff

提前致谢。

1 个答案:

答案 0 :(得分:0)

你不必结合任何东西。您可以一次订阅多个主题:

val topics: Array[String] = ???

KafkaUtils.createDirectStream[String, String](
  streamingContext, LocationStrategies.PreferConsistent, 
  ConsumerStrategies.Subscribe[String, String](topics, kafkaParams))