将数据集Flink到BuckingSink

时间:2019-02-11 16:53:17

标签: apache-flink

是否可以将数据集写入bucketingSink?

env.createInput(textInputFormat)
                .rebalance()
                .flatMap(new TopicBasedXMLProcessFunction(sourceType))
                .name("Transformer")
                .output(textOutputFormat)
                .withParameters(conf)
                .name("Write"); 

基本上,我从Tuple2<String, String>那里获得了TopicBasedXMLProcessFunction,我想像下面的那样从tuple2.fo动态构建路径

流内计算中,我使用了自定义Bucketer构建动态路径

@Override
    public Path getBucketPath(Clock clock, Path basePath, Tuple2<String, String> element) {
        return new Path(basePath + "/schema=" + element.f0 + "/");
    }

我已经在StreamExecutionEnvironment(STREAM)中实现了类似的解决方案,但是我无法使用ExecutionEnvironment(BATCH)来实现这一目标

0 个答案:

没有答案