标签: apache-kafka stream-processing streamsets
我有一个用例,其中我必须根据StreamSets Data Collector中的某些条件“加入”多个Kafka主题。我想知道是否存在一些可以解决这种问题的常用习语?
答案 0 :(得分:1)
StreamSets Data Collector实际上不是用于这种工作的正确工具,因为Data Collector管道只能有一个起源。
您应该查看StreamSets Transformer,它是在Spark上构建的,专门用于连接多个数据流并执行类似的任务。
答案 1 :(得分:0)
如何使用Kafka Multitopic消费者1然后使用流选择器处理器2根据您的条件路由到垃圾箱或进行处理?