查看Airflow中的输出

时间:2017-12-16 11:00:24

标签: python pipeline airflow apache-airflow

我是txt的新手。我写了一个简单的代码来保存from airflow.models import DAG from airflow.operators.python_operator import PythonOperator import datetime DAG = DAG( dag_id='example_dag', start_date=datetime.datetime.now(), schedule_interval='@once' ) def push_function(**kwargs): ls = ['a', 'b', 'c'] return ls push_task = PythonOperator( task_id='push_task', python_callable=push_function, provide_context=True, dag=DAG) def pull_function(**kwargs): ti = kwargs['ti'] ls = ti.xcom_pull(task_ids='push_task') with open('test.txt','w') as out: out.write(ls) out.close() pull_task = PythonOperator( task_id='pull_task', python_callable=pull_function, provide_context=True, dag=DAG) push_task >> pull_task 文件中的列表,如下所示:

airflow list_dags

当我使用Web服务器界面时,我看到了我的dag。另外,当我在CLI中写python code.py时,我看到了我的傻瓜。

我还使用[2017-12-16 14:21:30,609] {__init__.py:57} INFO - Using executor SequentialExecutor [2017-12-16 14:21:30,709] {driver.py:123} INFO - Generating grammar tables from /usr/lib/python2.7/lib2to3/Grammar.txt [2017-12-16 14:21:30,741] {driver.py:123} INFO - Generating grammar tables from /usr/lib/python2.7/lib2to3/PatternGrammar.txt 编译了我的代码,结果如下所示,没有任何错误:

airflow trigger_dag Mydag

我都尝试使用UI并使用命令'\'

运行dag

但是,运行后我看不到我的txt结果文件。日志文件中也没有错误。

如何找到我的txt文件?

1 个答案:

答案 0 :(得分:0)

我会尝试使用绝对文件路径,或者您可以尝试使用os.getcwd()记录方法内的当前工作目录,以帮助找到您的文件。