我在Python中定义了几个代表作业的类。在我的编排器中,我按如下方式定义了Airflow所需的功能:
from jobs.package.job import ToBeExecuted
def run_job(**context):
ti = context['ti']
date = context['ds']
job = ToBeExecuted()
input = ti.xcom_pull(task_ids='previous_job')
output = output.csv
job.run(input, output, date)
return output
如Airflow文档(https://pythonhosted.org/airflow/concepts.html?highlight=zip#packaged-dags)中所述,您无法在不打包的情况下使用外部包。
但我只是不明白所描述的解决方案。你把所有东西打包在zip文件夹中,但那又怎么样?你是如何推出它的?你怎么回填它?