可以使用pandas文件i / o函数而不是open / close来正确管理Luigi文件目标

时间:2018-04-27 16:45:54

标签: pandas csv luigi

我的脚本很大程度上依赖于pandas文件i / o函数,如read_csv(),to_csv()等,它们提供了许多自定义参数。

这些可以在luigi管道中用于本地文件目标吗?

我想将它转换为luigi管道,但我见过的每个例子都使用open / close python i / o进行自定义解析。

我听说luigi目标对象功能特别依赖于target.close()或''用于依赖性跟踪。

1 个答案:

答案 0 :(得分:1)

是。 LocalTarget可以与任意代码的输出一起使用。文件跟踪依赖于exists()方法。 open()只是一种方便的方法。