从气流到csv pySpark获取唯一ID

时间:2018-12-11 14:01:37

标签: variables pyspark airflow

我使用气流来调度Spark作业的执行(Spark作业的目的是对csv文件的操纵)。我想解析来自Airflow任务的run_id(或来自Airflow的任何唯一ID),并将其添加到我的csv文件的列中。我应该如何处理这种情况?

0 个答案:

没有答案