有什么想法可以通过容错的Flink BucketingSink将压缩文本文件写入hdfs吗？

Question

最近，我们正在通过Apache Flink的BucketingSink将压缩的（gzip）文本文件写入hdfs。但是问题是，每当发生故障时，它都会生成一个有效长度的文件（对于hadoop <2.7）或截断该文件（对于hadoop> = 2.7）。但是，gzip是二进制格式，截断并不简单。有什么好主意可以帮助我吗？非常感谢你！