从电子邮件中的超链接获取CSV到Google Could Storage

Question

我尝试了Googling一段时间，但没有找到任何东西，因此希望有人可以提供帮助。

每天，我都会收到一封包含链接的电子邮件，然后触发该文件的下载，我需要将其下载到Google Cloud存储中以最终包含在BigQuery表中。

到目前为止，我每天早晨一直手动下载文件，然后将其上传到GCS，但是必须有更好的方法。

电子邮件每天来自同一地址，主题行始终相同，但是URL本身会更改。

我试图找到一个过程，其中CSV可以直接传递到GCS（而不是将其保存在本地），或者可以将其保存在本地，然后从该本地文件夹触发到GCS存储桶的同步。

在此先感谢您提供的任何帮助/指导。

Answer 1

1. App Engine可以接收电子邮件。将电子邮件发送到App Engine。

   • https://cloud.google.com/appengine/docs/standard/python/mail/receiving-mail-with-mail-api

2. App Engine将解析此电子邮件以查找网址。

3. App Engine可以启动Storage Transfer Service作业。

   • https://cloud.google.com/storage-transfer/docs/reference/rest/v1/TransferSpec

   • 使http_data_source成为App Engine页面，其中将包含电子邮件中收到的URL。

4. 在GCS中设置发布/订阅，因此它会在从传输服务获取新文件时将通知推送到主题。

   • https://cloud.google.com/storage/docs/pubsub-notifications

5. 具有发布/订阅通知，该通知会将消息推送到App Engine URL

   • https://cloud.google.com/pubsub/docs/push

6. 让App Engine网址使用刚刚复制的文件开始加载作业。

   • https://cloud.google.com/bigquery/docs/reference/libraries

总结：

• App Engine可以接收电子邮件，创建传输作业并在传输作业完成后等待通知以将该文件加载到BigQuery中。您只需要设置发布/订阅，即可发送通知。