BigQuery从sftp

Question

我有一个面向Internet的sftp服务器，该服务器定期更新csv文件。无论如何，是否有命令让BigQuery从此sftp检索数据并将其放入表中。或者，是否有任何支持此功能的API或python库？

Answer 1

关于BigQuery-我不了解与SFTP的集成。

您需要：

• 创建/查找一个脚本，该脚本从SFTP读取并推送到GCS。
• 将HTTPS服务添加到SFTP服务器，以便可以通过GCS传输服务（https://cloud.google.com/storage-transfer/docs/）读取数据

Answer 2

有使用第三方的选项，例如-Skyvia。对于低数据量和低频率，它是免费的。

Answer 3

Magnus –支持{S3}}套件的一部分的Magnus – Workflow Automator是支持（S）FTP进出GCP的另一个第三方工具，它支持所有BigQuery，Cloud Storage和大多数Google API，以及多个简单的实用程序类型的任务，例如BigQuery任务，导出到存储任务，循环任务等等，还有许多其他功能以及高级计划，触发等。也可以在Potens.io获得。

FTP到GCS任务接受源FTP URI，并且可以根据输入将单个或多个文件传输到Google Cloud Storage中的目标位置。结果上传到Google Cloud Storage的列表将保存到参数中，以供以后在工作流中使用。源FTP的类型可以是SFTP，FTP或FTPS。

有关更多信息，请参见Marketplace

here

披露：我是Google Cloud的GDE，也是这些工具的创建者和Potens团队的负责人