基于管道中基于键的分组,在数据流中的GS上写入多个文件

时间:2018-11-30 12:59:51

标签: google-cloud-dataflow apache-beam

我有一个通过分组创建的KV集合,目标是将每个V写入不同的文件(V是字符串列表)。 参考此代码, How to use FileIO.writeDynamic() in Apache Beam 2.6 to write to multiple output paths?, 我遵循FileIO.dynamic写入将解决目的。 但是,是否在分组中考虑热键扇出? 基于密钥写入多个文件的最佳方法是什么? 另外,文件名必须是键值,并在其中写入值。

0 个答案:

没有答案