数据流管道中dynamicWrite FileIO中的动态文件夹名称

时间:2018-11-30 21:54:38

标签: google-cloud-dataflow apache-beam dataflow apache-beam-io

我有一个PCollection<KV<String,String>>。我想将数据按K分组,并将密钥K的所有值写入到名为K的文件夹内的google存储中的文件中。假设使用by对值进行分组后,我有2个条目。

['a',[apple,as]],['b','bat,ball']

我想将所有名称为data_record.txt的文件写入文件夹名称“ a”(对于“ apple,as”)和“ b”(对于“ bat,ball”)。 如何使用FileIO.dynamicWrite创建动态文件夹名称?该文件夹必须通过用于分组的键来命名。

0 个答案:

没有答案