Question

我们计划从加缪迁移到哥布林。在Camus中，我们使用以下提到的配置：

etl.partitioner.class=com.linkedin.camus.etl.kafka.partitioner.TimeBasedPartitioner
etl.destination.path.topic.sub.dirformat=YYYY/MM/dd/HH/mm
etl.output.file.time.partition.mins=30

但是在哥布林，我们有如下配置：

writer.file.path.type=tablename
writer.partition.level=minute (other options: daily,hourly..)
writer.partition.pattern=YYYY/MM/dd/HH/mm

这会在分钟级别创建目录，但是我们需要30分钟的分区。

在官方文档http://gobblin.readthedocs.io/en/latest/miscellaneous/Camus-to-Gobblin-Migration/

中找不到太多帮助

还有其他可用于实现此目的的配置吗？

Answer 1

通过在自定义WriterPartitioner中实现partitionerMethod来解决：

在分区程序中获取记录级别的时间戳时，我们只需要使用下面提到的方法发送经过处理的时间戳毫秒数即可。

public static long getPartition(long timeGranularityMs, long timestamp, DateTimeZone outputDateTimeZone) {
    long adjustedTimeStamp = outputDateTimeZone.convertUTCToLocal(timestamp);
    long partitionedTime = (adjustedTimeStamp / timeGranularityMs) * timeGranularityMs;
    return outputDateTimeZone.convertLocalToUTC(partitionedTime, false);
}

现在将在所需的时间粒度上生成分区。

如何将Gobblin输出分成30分钟的分区？

1 个答案: