卡夫卡消费者代码的4个主题

Question

我想为4个主题（topic1，topic2，topic3，topic4）编写kafka消费者代码。
我的数据库中有4个表（table1，table2，table3，table4）。
因此，主题中包含的任何数据都应附加在相应的表中。

赞：

topic1 data will be appended to table1
topic2 data will be appended to table2
topic3 data will be appended to table3
topic4 data will be appended to table4

Answer 1

如Spark Kafka文档中所列，您可以提供一系列主题进行订阅

val topics = Array("topicA", "topicB")
val stream = KafkaUtils.createDirectStream[String, String](
  streamingContext,
  PreferConsistent,
  Subscribe[String, String](topics, kafkaParams)
)

使用常规的Kafka Consumer时，您可以为主题提供正则表达式模式

从评论中看来，您的Kafka群集正在使用身份验证，您必须执行some additional Spark configuration for it to work

您提到一个数据库，因此与其亲自编写容忍度高的Spark代码，不如查看Kafka Connect，它已经是您的Kafka安装的一部分