有没有办法阻止camus
增加偏移值,并使其始终读取前一个值?
还有如何为创建的文件提供自定义名称而不是一般格式,即topic.leaderId.partitionId.partitioner.encodePartition(context, key)
?
答案 0 :(得分:1)
映射器输出的文件名在generateFileName
类的com.linkedin.camus.etl.Patitioner
方法中生成。
您可以实现自定义分区程序并以
形式提供逻辑 @Override
public String generateFileName(JobContext context, String topic, String brokerId, int partitionId, int count,
long offset, String encodedPartition) {
return "MyCustomFileName-"+topic+partitionId;
}