我正在尝试创建一个抓取网站的应用程序，该网站提供.xlsx格式的免费财务数据。他们每月上传一次文件，但并不总是在同一天上传。
是否可以从特定URL下载任何新文件并将其转储到我的S3存储桶中，然后再将其读入数据库？我已经阅读了有关使用Sidekiq创建工作人员的信息。我希望这将在这个过程中发挥关键作用。
是否有人可以提供一些建议或指点我的教程可以提供帮助？
答案 0 :(得分：1)
是的，你可以，甚至不需要Sidekiq。
看看AWS SDK for Ruby，并执行以下操作：
只需编写一个ruby脚本，下载xlsx文件，然后上传到S3。确保脚本以#!/usr/bin/env ruby开头，并授予其执行权限。
将此脚本添加到您的crontab作业中，并使其每天运行。