为Heroku和S3下载和解压缩文件的流程？

Question

我正在使用Apple的iTunes EPF数据文件。我每天都需要每天下载，解压缩然后处理.tbz文件中的1-3GB数据。

我有一个Rails应用程序，在Heroku上托管，大部分资产存储都在S3上处理。

但我遇到麻烦的是从Apple获取EPF文件的流程。

我将下载3个文件。每个都是.tbz文件大小从1G​​B到大约20MB不等。

Heroku没有办法获得可靠的商店文件，所以我想我需要直接将文件下载到S3？然后我会以某种方式解压缩它们吗？

这就是我遇到麻烦的地方。我知道如何实际从Apple获取文件到S3，但解压缩它们是我没有关注的地方。

由于数据文件可能非常大，因此最大限度地减少S3上的传输对于降低成本至关重要。

是否有一项服务可以让我将Apple文件下载到他们的服务器，解压缩，然后上传到S3必要的文件？

Answer 1

Heroku的file system is ephemeral，但您仍然可以写出/tmp作为临时临时空间来下载，解压缩，执行您需要的任何处理，重新打包（如果需要），然后上传到S3。由于automatic dyno restarts（或手动重启），只需确保您的服务知道如果中断即可正常恢复。