我正在使用Bonobo运行ETL流程,最后,我有一个清理文件的节点。但是,此存档节点不需要其他先前节点的任何输入,也不会给出任何输出。
在下面附加代码以提供更多上下文。使用此代码,控件甚至永远都不会到达该特定节点。我怀疑这是因为该节点没有任何I / O,因为只要输入* args作为输入,代码就可以工作。但是,它的运行次数是前一个节点产生输出的次数。但是,我只需要运行一次archive_email()。
def archive_email():
# Some code without any I/O
print('Executing cleanup')
def get_graph(**options):
"""
This function builds the graph that needs to be executed.
:return: bonobo.Graph
"""
graph = bonobo.Graph()
graph.add_chain(fetch_s3_emails, extract_email_attachment, transform, load)
return graph