Question

应该在气流中放置辅助功能？它应该添加到插件目录中吗？我将为我的ETL工作提供一些可重复的代码：

#create a sub dag containing DROP -> CREATE -> INSERT 
sub_create_dag = DAG('%s.%s' % (parent_dag_name, child_dag_name), default_args=args)
pg_drop = DropPostgresOperator(task_id='drop_{}'.format(table), sql="", params={'schema': schema, 'table': table}, postgres_conn_id=args['connection_id'], autocommit=True, dag=sub_create_dag)
pg_create = PostgresOperator(task_id='create_{}'.format(table), sql='{sql_path}/create_{name}.sql'.format(sql_path=sql_path, name=table), postgres_conn_id=args['connection_id'], autocommit=True, dag=sub_create_dag)
pg_insert = PostgresOperator(task_id='insert_{}'.format(table), sql='{sql_path}/insert_{name}.sql'.format(sql_path=sql_path, name=table), postgres_conn_id=args['connection_id'], autocommit=True, dag=sub_create_dag)
pg_drop >> pg_create >> pg_insert
return dag

问题是我会遇到如下错误：

File "/usr/local/lib/python2.7/dist-packages/jinja2/loaders.py", line 187, in get_source   
raise TemplateNotFound(template)

Answer 1

我们使用了两者的组合。我们已将独立任务实现为插件文件夹中的自定义操作符，而小函数则仅作为DAG文件夹中的python函数。关于错误，这是因为jinja找不到模板文件夹。如果在DAG或plugins文件夹中实现帮助程序功能，则不应弹出此错误。

辅助功能在气流中起作用

1 个答案: