Kafka Connect。是否可以在微秒字段上分区数据?

时间:2019-02-24 20:46:34

标签: apache-kafka partitioning apache-kafka-connect debezium

在当前配置中,我正在使用:HdfsSinkConnector和分区程序类:TimeBasedPartitioner
分区由Debezium的字段ts_ms生成,该字段为 millisecond

以下工作配置:

{
  "name": "connect-debezium-test-hdfs-sink",
  "config": {
    "connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector",
    ...       
    "partitioner.class": "io.confluent.connect.storage.partitioner.TimeBasedPartitioner",
    "timestamp.extractor": "RecordField",
    "partition.duration.ms": "86400000",
    "path.format": "'year'=YYYY/'month'=MM/'day'=dd/",
    "timestamp.field": "ts_ms"      
  }
}

但是我想根据Debezium的 microsecond 字段ts_usec进行分配。
是否可以不编写自己的分区器类?

0 个答案:

没有答案