是否可以将数据集写入bucketingSink?
env.createInput(textInputFormat)
.rebalance()
.flatMap(new TopicBasedXMLProcessFunction(sourceType))
.name("Transformer")
.output(textOutputFormat)
.withParameters(conf)
.name("Write");
基本上,我从Tuple2<String, String>
那里获得了TopicBasedXMLProcessFunction
,我想像下面的那样从tuple2.fo动态构建路径
流内计算中,我使用了自定义Bucketer构建动态路径
@Override
public Path getBucketPath(Clock clock, Path basePath, Tuple2<String, String> element) {
return new Path(basePath + "/schema=" + element.f0 + "/");
}
我已经在StreamExecutionEnvironment(STREAM)
中实现了类似的解决方案,但是我无法使用ExecutionEnvironment(BATCH)
来实现这一目标