在气流中使用DAG检查S3文件大小

时间:2019-06-12 15:20:05

标签: python if-statement airflow

我目前正在尝试写一个dag来将文件从一个S3位置复制到另一个位置。在复制文件之前,我需要检查相应的拒绝文件以查看其是否为空。我需要遵循的逻辑是:

if rej_file_size = 0kb:
    Copy files from S3_loc_1 to S3_loc_2
else:
    Fail dag

我对dag和python还是很陌生,所以对我来说,从某个位置获取文件并查看其是否为空(0kb)是否为(> 0kb)

的最佳方式是什么?

谢谢您的时间

0 个答案:

没有答案