用于执行任务的ETL工具的建议

Question

我有一个python脚本，它提取一些数据并将其保存到csv文件中。现在我需要将此文件加载到Azure SQL DB。有人可以建议哪些ETL工具适合自动化并进行比较吗？

Answer 1

您可以使用BCP（一个免费的MS工具），它可以在命令行执行，或者如果您想拥有非常强大的错误处理，安全性，将包存储在SQL Server数据库中以及许多其他功能强大且非常有用的功能您可以使用SSIS（SQL Server Integration Services）这一功能，它是大多数SQL Server版本附带的免费产品。使用SSIS需要一个简短的学习曲线。

Answer 2

有各种各样的提取变换加载工具。您没有提到数据集的大小或任何频率，因此我将其视为中型数据集和批量加载。

SSIS被提及用于与SQL Server进行数据集成。它确实有它的怪癖，因此也就是学习曲线。

Talend是一个开源的ETL工具，以易于使用而着称（在了解您的ETL概念的范围内）。您可以创建作业，还有日志记录和错误处理。

Pentaho是另一个开源的GUI ETL工具。提供常用功能，并具有一个很好的预构建组件库，如MongoDB输入和合并/加入。它还具有创建和运行作业的能力。

有几个大品牌，如IBM，Informatica和SAP;所有人都会做这些功能，但根据你的标准，费用和学习曲线似乎有点像驾驶坦克买牛奶和鸡蛋。

今天有很多选择，你可能会看到一些比较对你有所帮助; ETLTools.net有一些很好的信息。