confluent-3.2.0 S3 Connector默认分区设置

时间:2017-06-28 16:12:18

标签: amazon-web-services amazon-s3 apache-kafka apache-kafka-connect

我已经能够成功地将我的主题日期流写入我的s3存储桶,但是,数据是数字分区(partition = 0)。

当前显示:(亚马逊S3>桶名>主题>测试>分区= 0

是否可以按日期(yyyy-mm-dd)对数据进行分区?如果是这样,配置将覆盖默认分区设置。

感谢您的帮助, Warsame

1 个答案:

答案 0 :(得分:0)

documentation所述,连接器具有可插拔分区器和内置TimeBasedPartitioner,可根据摄取时间对数据进行分区。各种partitioner configuration parameters允许您控制目录结构等内容。甚至有一个DailyPartitionerTimeBasedPartitioner的特化,它会产生类似/year=2017/month=12/day=07的路径结构。

如果这些都不起作用,那么您总是可以选择实现自定义Partitioner类或专门设置TimeBasedPartitioner类(或其任何子类),如果这更容易的话。