如何在StreamSets Data Collector中加入多个Kafka主题?

时间:2019-10-17 07:54:49

标签: apache-kafka stream-processing streamsets

我有一个用例,其中我必须根据StreamSets Data Collector中的某些条件“加入”多个Kafka主题。我想知道是否存在一些可以解决这种问题的常用习语?

2 个答案:

答案 0 :(得分:1)

StreamSets Data Collector实际上不是用于这种工作的正确工具,因为Data Collector管道只能有一个起源。

您应该查看StreamSets Transformer,它是在Spark上构建的,专门用于连接多个数据流并执行类似的任务。

答案 1 :(得分:0)

如何使用Kafka Multitopic消费者1然后使用流选择器处理器2根据您的条件路由到垃圾箱或进行处理?