如何将数据从AWS S3检索到SQL Server

Question

想知道我能否得到一些帮助。我们的python开发人员已安排了每天通过网络抓取某些文件的过程。数据将位于AWS S3中。现在，我正在尝试将此数据导入到我们的SQL Server数据库中。什么是做到这一点的最佳方法。我们可以使用SQL脚本从AWS S3查询数据吗？还是我需要以CSV格式从S3下载文件，然后使用SSIS包处理这些文件？我希望仅在可能的情况下查询AWS S3。

感谢和问候

Answer 1

您可以使用pentaho数据集成直接从AWS s3读取csv文件。通过使用pentaho，您可以创建将数据推送到sql server的作业。 在pentaho DI中转到

1. s3 csv输入，如下图所示

2. 然后您可以选择所需的字段

3. 然后选择表输出对象，并与您的sql server创建连接，并将imput字段与表列映射