限制图形输出以调试Bonobo-ETL的最佳实践

时间:2018-11-09 11:28:03

标签: python-3.x debugging bonobo-etl

我发现在开发过程中向图添加了很多Limit(1)调用,因为我不希望节点在整个队列上工作,这只是一个小例子:

graph = bonobo.Graph()
graph.add_chain(
    extract_mail_list,
    bonobo.Limit(1),
    extract_cc_recipients,
    select_male_name_filter,
    bonobo.Limit(1),
    transform_mail,
    load_mail
)

即使我将策略设置为“天真”以执行同步,节点也将在继续之前处理整个队列,这对于在调试器中执行图形执行而言并非最佳。

是否有更好的方法将所有节点限制为一个节点的输出,或者甚至更好地使执行流程遍历每个项目的整个图,所以我不必一直插入和删除Limit语句?

0 个答案:

没有答案