Kafka Stream应用程序可以从Kinesis流读取吗？

Question

我需要编写一个从Kinesis流读取数据并将数据存储到Kafka主题的Java应用。我无法使用连接器，我必须使用Kafka Streams，因为其中涉及很多逻辑。 Kafka Stream可以直接从Kinesis stream读取还是我必须先将数据存储到Kafka主题才能被Kafka Stream读取？

我了解了很多有关Kafka Streams的内容，但从未见过Kafka Stream从Kafka主题以外的其他内容读取示例。

Answer 1

Kafka Streams仅连接到单个Kafka集群并读取/写入主题。它不能读取或写入任何其他系统。

如果我们想将数据导入Kafka（或从Kafka导出），则可以使用Kafka Connect。对于简单的数据转换，Connect提供了可以使用的所谓的“单个消息转换”（SMT）。对于更复杂的转换，您需要首先导入未经修改的数据，而不是使用Kafka Streams进行相应的转换。