使用heroku在AWS s3上处理大型csv文件

时间:2015-10-19 17:33:06

标签: ruby-on-rails csv heroku amazon-s3

我正在将我的应用程序从开发站点部署到heroku,并没有意识到Heroku不允许您保存上传文件。我现在正在尝试将文件结构切换到s3。

应用程序接受处理并添加到数据库的csv文件。一些csv文件非常大(超过100k行/ 13megs)。我最初使用rake任务来处理文件,方法是读取每一行并将其保存到数据库中。

现在我必须使用AWS s3,我不知道如何下载这么大的文件并处理它,因为Heroku可能会在处理文件时删除它?有没有人对如何使用heroku处理大文件有任何建议?

谢谢!

0 个答案:

没有答案