这个问题与S3的Kafka有关。
要求：我们感兴趣的kafka主题之一包含一些特定信息，例如时间戳，表等。我们可以使用此数据来确定它将去往哪个S3路径，即{ {1}}
问题：我们正在考虑使用kafka connect，因为没有理由重新发明轮子。但是，我找不到一种方法可以插入s3bucketName/timestamp/table/...来在kafka connect中进行映射（从主题数据到S3路径）（随后是链接https://docs.confluent.io/current/connect/kafka-connect-s3/configuration_options.html）。我想知道kafka connect是否提供此功能，如果没有，请问其他人以前做了吗？
答案 0 :(得分：0)
TimestampPartitioner的默认行为将写入
s3bucketName/s3Prefix/topicName/timestamp/files.avro
如果不能令人满意，那么Kafka Connect完全是“插件”驱动的，您可以编写自己的插件。例如，没有分区程序会将时间戳记和数据中的特定字段放在一起-您需要分别编写