Pcollection为空时不写入给定路径

时间:2018-12-20 06:17:20

标签: java google-cloud-dataflow apache-beam apache-beam-io

我的代码(在创建管道的主要功能中):-

outCollection.apply("WriteToFile",
            TextIO.write().to(path).withHeader(header)
                    .withFooter(footer).withoutSharding());

当前行为是它使用页眉和页脚将文件写入给定路径。我希望能够指定管道,以在outCollection为空的PCollection时不在该位置写入文件。

我去了SDK code。在这里,我发现了一个名为emptyDestination的参数,用于在PCollection为空但不推荐使用时写入文件。他们建议将FileIO.Write与Sink一起使用,但是我无法弄清楚我的用例的功能。我在某处失踪吗?

熟悉代码库的人有什么想法吗?

0 个答案:

没有答案