用于ETL作业的工具

Question

这里有人用Python（纯Python-不是PySpark）编写ETL或ELT吗？如果是，那么用Python编写ETL的一些技巧是什么？我们目前正在使用SAP数据服务，但希望不再使用它，而是使用AWS Glue，Lambda，Redshift等。

Answer 1

AWS Redshift是一个功能强大的工具，可以肯定地用于ETL。通常，使用常规的Redshift SQL查询和工具应该可以处理大多数情况。

对于更高级的方案，您可以考虑将Redshift与Python UDF一起使用。 Redshift随附了一系列令人印象深刻的库（例如Numpy或Pandas）。您也可以轻松地将自己的库导入Redshift。