从Kafka Consumer中读取数据后，如何将数据存储到特定目录中？

Question

我有一个Kafka主题，我需要使用使用者从中读取JSON数据，但是基于数据中的特定标记，我需要将其存储在驱动器的不同目录中。

我该如何实现？可以在存储之前直接解析数据吗？

Answer 1

不清楚这些目录将在哪里，但是您可以尝试将{{1}（与适用于HDFS兼容的文件系统，包括本地磁盘）一起使用HDFS Kafka Connect }以指定FieldPartitioner

格式将Kafka记录中的哪些字段设置为目录

要写入本地磁盘，请设置/topic-dir/topic-name/field1=value/field2=value

否则，Spark，Flink，常规Kafka使用者等，您可以使用该数据并自行构建目录。

  

在存储之前可以直接解析数据吗？

取决于您如何使用数据...