我已经能够成功地将我的主题日期流写入我的s3存储桶,但是,数据是数字分区(partition = 0)。
当前显示:(亚马逊S3>桶名>主题>测试>分区= 0
是否可以按日期(yyyy-mm-dd)对数据进行分区?如果是这样,配置将覆盖默认分区设置。
感谢您的帮助, Warsame
答案 0 :(得分:0)
如documentation所述,连接器具有可插拔分区器和内置TimeBasedPartitioner
,可根据摄取时间对数据进行分区。各种partitioner configuration parameters允许您控制目录结构等内容。甚至有一个DailyPartitioner是TimeBasedPartitioner
的特化,它会产生类似/year=2017/month=12/day=07
的路径结构。
如果这些都不起作用,那么您总是可以选择实现自定义Partitioner
类或专门设置TimeBasedPartitioner
类(或其任何子类),如果这更容易的话。