如何编写Luigi工作流程以将数据从MySQL加载到Redshift中？

Question

Luigi是否支持我执行整个流程？

流程将是这样的： 将MySQL数据转储到S3，然后使用“复制”命令将数据移动到Redshift。

我可以使用Luigi执行上述工作流程吗？

Answer 1

基本上你可以用Luthon中的python脚本做任何事情，因为你可以在Luigi任务的run()方法中编写那个python代码，这意味着实际上没有真正的限制。

有关更多信息，请参阅Luigi文档中的任务，特别是run（）方法：http://luigi.readthedocs.org/en/stable/tasks.html#task-run

所以，剩下的问题是如何从python本身访问RedShift和MySQL，但这是一个单独的问题，我认为谷歌搜索一个好的指南或教程是最好的选择。