当存在BucketingSink时，为什么需要StreamingFileSink？

Question

我发现BucketingSink可以完成StreamingFileSink所能做的一切，例如将事件写入本地文件，NAS或HDFS文件（最初我以为BucketingSink只能将事件写入HDFS而不能写入NAS或本地文件），但是StreamingFileSink不提供BucketingSink提供的某些功能，例如StreamingFileSink无法设置文件的前缀和后缀，而BucketingSink可以设置，那么为什么存在BucketingSink时我们需要StreamingFileSink？ >

Answer 1

StreamingFileSink是一个新的接收器，最终将取代BucketingSink。 BucketingSink有一些主要限制（对S3的输出一致，支持Parquet和ORC等阻止格式），如果不重新设计就无法解决。 StreamingFileSink实现了这一新设计。

但是，正如您在当前状态（Flink 1.6）中所注意到的那样，StreamingFileSink尚不支持BucketingSink的所有功能。