Apache Beam Python程序编写0 kb文件?

时间:2019-02-21 06:07:14

标签: python etl google-cloud-dataflow apache-beam

我有一个用python编写的apache Beam程序,该程序基本上读取一个输入文件,处理一些输入,然后将输出过滤到不同的标签输出,然后将这些输出写入不同的文件。

现在,由于任何原因,这些不同的aggedoutput可以为空,并且当脚本将这些tagges输出写入文件时,文件的大小为0kb。

So my questions is,
1. What can I avoid creating 0kb files if taggedoutput is empty? 
2. If is good ETL concept not to create 0kb files if taggedoutput is empty. 

一些工作朋友提出了这样的观点,即创建0kb文件不是最佳的ETL做法。

0 个答案:

没有答案