防止camus增加偏移值

时间:2014-11-26 05:53:33

标签: hadoop hdfs apache-kafka camus

有没有办法阻止camus增加偏移值,并使其始终读取前一个值?

还有如何为创建的文件提供自定义名称而不是一般格式,即topic.leaderId.partitionId.partitioner.encodePartition(context, key)

1 个答案:

答案 0 :(得分:1)

映射器输出的文件名在generateFileName类的com.linkedin.camus.etl.Patitioner方法中生成。

您可以实现自定义分区程序并以

形式提供逻辑

@Override public String generateFileName(JobContext context, String topic, String brokerId, int partitionId, int count, long offset, String encodedPartition) { return "MyCustomFileName-"+topic+partitionId; }