如何使Luigi任务生成内存列表作为目标

Question

我正在尝试使用luigi编写etl管道。据我所知，luigi中的任务可以生成一个目标，可以是某种类型的文件存储或数据库。为了减少处理时间，我希望将输出作为内存列表。这可能吗？我是否必须创建自定义目标？

Answer 1

我发现我可以使用MockFile作为目标。一个很好的例子：

http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html