是否可以使用Kafka流创建一个从Kafka主题读取JSON然后用它们做一些逻辑并将结果发送到另一个Kafka主题或其他东西的管道？
例如，我使用elasticsearch中的日志填充我的主题。使用简单的logstash管道非常容易。
一旦我将我的日志记录在kafka主题中，我想从日志中提取一些信息并将它们放在一个＆＃34;表格中。使用N列（Kafka能够做到这一点？）然后将表放在其他地方（另一个主题或数据库）。
我没有找到满足我标准的任何例子。
感谢
答案 0 :(得分：0)
是的，这是可能的。
kafka或kafka-streams中没有列的概念。但是，您通常只需要使用您想要的字段（在这种情况下字段相当于列）来定义您选择的普通旧Java对象。您以该格式生成输出到输出主题（使用适当选择的序列化程序）。最后，如果要将结果存储在关系数据库中，则将字段映射到列中，通常使用kafka connect jdbc接收器： http://docs.confluent.io/current/connect/connect-jdbc/docs/sink_connector.html