Kafka Connect S3接收器多个分区

时间:2020-08-21 16:33:55

标签: amazon-s3 apache-kafka apache-kafka-connect

我对kafka connect S3接收器连接器有多个疑问

1。我想知道是否可以使用kafka的S3接收器来保存具有多个分区的记录?

例如,我有此json记录:

{
 "DateA":"UNIXTIMEA",
 "DateB":"UNIXTIMEB",
 "Data":"Some Data"
}

(所有字段均为顶层)

是否可以通过以下路径将数据保存在S3中:

s3:// sometopic / UNIXTIMEA / UNIXTIMEB

2。我可以转换UNIXTIMEA / UNIXTIMEB吗 更改为可读的日期格式,而不更改记录值本身? (出于可读性原因)

3。我可以在S3路径中为UNIXTIMEA添加前缀吗? 例如:

s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...

我刚开始阅读文档,然后慢慢了解了一切, 仍然我还没有真正找到这些问题的直接答案。

我基本上想在我的配置中执行所有这些操作,但是我怀疑我可以 没有自定义分区程序,我想尽快确认。

预先感谢

C.potato