在输出方法期间如何在数据集中生成动态路径

Question

是否可以在Flink中创建动态DataSink输出路径？

DataSet的数据类型为Tuple2<String, String>

当我们尝试使用流时，我有一种使用自定义Bucketer生成动态浴的方法，如下所示

@Override
    public Path getBucketPath(Clock clock, Path basePath, Tuple2<String, String> element) {
        return new Path(basePath + "/schema=" + element.f0.toLowerCase().trim() + "/");
    }

我想知道在DataSet中是否存在类似的方法来生成自定义路径。

Answer 1

我戳了一下，没有发现类似的批处理内容。这意味着我认为您必须创建自己的OutputFormat类，该类包装常规FileOutputFormat并使用相同的Bucketer接口进行存储。