Question

我正在尝试使用Apache Beam将一些文件写入google bucket，但是文件位置和文件夹名称是根据文件中的第一个索引生成的，那么如何创建此字典并将其写入文件？

metadata = (data_from_test |'CSVConversionMeta' >> beam.ParDo(WriteToCSVmeta())|'Writing To File' >> beam.io.WriteToText('gs://tester1212/CIK/YEAR/FILING/metadata.csv'))

因此，这是我编写文件的代码，但是我希望从csv中获取YEAR并在运行时创建文件夹。

Answer 1

如果在管道启动之前知道您的日期，则可以执行此操作

year="2020"
metadata = (data_from_test |'CSVConversionMeta' >> beam.ParDo(WriteToCSVmeta())|'Writing To File' >> beam.io.WriteToText('gs://tester1212/CIK/{}/FILING/metadata.csv'.format(year)))

如何使用Apache Beam动态将文件写入Google存储桶？

1 个答案: