Airflow中的模块

时间:2016-12-28 09:14:37

标签: airflow

我在Python中定义了几个代表作业的类。在我的编排器中,我按如下方式定义了Airflow所需的功能:

from jobs.package.job import ToBeExecuted

def run_job(**context):
    ti = context['ti']
    date = context['ds']

    job = ToBeExecuted()
    input = ti.xcom_pull(task_ids='previous_job')
    output = output.csv
    job.run(input, output, date)

    return output

如Airflow文档(https://pythonhosted.org/airflow/concepts.html?highlight=zip#packaged-dags)中所述,您无法在不打包的情况下使用外部包。

但我只是不明白所描述的解决方案。你把所有东西打包在zip文件夹中,但那又怎么样?你是如何推出它的?你怎么回填它?

0 个答案:

没有答案