我可以使用Heroku来废弃数据以便以后下载吗?

时间:2017-09-24 12:42:43

标签: python csv heroku web-scraping download

我有一个python脚本,它会从不同的网站中删除数据,然后将一些数据写入CSV文件。

我每天都会从本地计算机上运行它,但我想让它在服务器上自动运行,并且可能是免费的。

我尝试过PythonAnywhere,但看起来他们的白名单阻止我刮掉bloomberg.com。

然后我传递给Heroku,我部署了我的工作者(python脚本)。一切似乎都有效,但是看看Heroku bash到python脚本应该写入CSV文件的目录,什么都没有出现。

我也意识到我不知道在下载这些CSV文件的情况下如何下载这些文件。

我想知道我是否能真正实现我想用Heroku实现的目标,或者如果获得python脚本在服务器上运行的唯一方法是支付PythonAnywhere并避免刮除限制?

1 个答案:

答案 0 :(得分:1)

Heroku的文件系统是per-dyno和ephemeral。你不能保存它以供以后使用。

另一种方法是将其写入永久性的地方,例如Amazon S3。您可以使用boto库进行此操作。虽然您必须为S3存储和数据付费,但它非常便宜。