我想恢复DAG对象,以便在DAG运行后更好地检查某些依赖项(例如,特定运算符使用了哪些数据)。我使用postgres:9.6
作为元数据数据库后端。
这似乎是通过donot_pickle
配置变量支持的,默认情况下表示必须对所有DAG进行pickle:
[core]
# Whether to disable pickling dags
donot_pickle = False
我有一些测试DAG(3)可用但相应的pickle_id
为空:
> select pickle_id from dag;
pickle_id
---------
(3 rows)
泡菜表也是空的:
> select count(*) from dag_pickle;
count
------
0
(1 row)
这里可能出现什么问题?我无法在文档中找到任何参考资料。
答案 0 :(得分:0)
有两种启用酸洗的方法:
DONT_PICKLE=False
仅与回填作业有关-p, -do_pickle
可对调度的作业(https://airflow.apache.org/cli.html#Named%20Arguments_repeat18)进行酸洗