如何通过Spark结构化流在Kafka中以编程方式创建主题

时间:2019-11-28 12:24:05

标签: apache-spark apache-kafka spark-structured-streaming

我想在我的Spark结构化流应用程序中创建多个kafka主题运行时。我发现Java API提供了多种方法。但是我找不到带有Spark结构化流的任何内容。 请让我知道是否有可用的方法,或者我需要使用Java库

我的Apache Spark版本是2.4.4,Kafka库依赖关系是spark-sql-kafka-0-10_2.12

1 个答案:

答案 0 :(得分:-1)

AFAIK,Spark不会创建主题。

您可以使用在初始化SparkSession之前使用的相同Java API

spark-sql-kafka包括kafka-clients,因此您可以使用AdminClient类

How to create a Topic in Kafka through Java