使用保存点取消flink bucketingsink作业时文件保持.pending

Question

我们正在使用BucketingSink将压缩文件（由“ \ n”分隔）写入hdfs。但是，一旦我们手动取消作业，文件的最后一行将被截断。如果我们使用保存点取消作业，则一切正常，但文件仍处于.pending状态。如何使这些文件完成重命名？非常感谢你！

Answer 1

如果.pending文件在检查点列表中，则只需重启作业即可，然后.pending将重命名为最终名称以提交。 如果.pending文件不在检查点列表中，也就是说，.pending文件可能会被丢弃，则flink对此不会做任何事情，忽略它们是个好主意。

尝试阅读This Blog Post，然后阅读BucketingSink的源代码，您将知道为什么以及如何做。