是否可以通过StreamSets Data Collector（SDC）创建Kafka主题？

Question

我正在使用StreamSets Data Collector（SDC）Web工具创建一个管道，通过Kafka生产者将数据从本地系统传输到Kafka。但是，我必须首先手动创建我想要存储数据的主题。是否可以通过StreamSet创建主题？

Answer 1

默认情况下，Kafka配置为自动创建主题。您可以在broker config中设置num.partitions，以便将每个主题的分区数更改为默认值1。

如果您想从管道中创建主题，可以从shell executor到pipeline start event触发create a topic。

请注意，无法从舞台事件创建主题，因为这些主题在数据发送到目标之后触发，并且您希望在管道开始发送数据之前存在主题。