从S3读取大量CSV文件

Question

我的S3上有很大的csv文件。 我想导入他们的数据而不下载（复制）他们到heroku上的tmp文件夹。 另外我不想在内存中加载整个文件。 你能告诉我我怎么能这样做。有些事情比如通过块或类似的东西获取数据块。

提前致谢。

Answer 1

好吧，我想到了一种方法来做到这一点，这是非常无懈可击和非常愚蠢的。但是，如果您确定未将文件保存在服务器上，那么就可以了。

您可以在应用中添加代码，以某种形式接受某些数据（例如一行或多行值），然后相应地创建记录。部署这个。

然后，在LOCAL计算机上保存文件。编写一个读取文件的脚本（同样，一次一行最好避免内存问题），将其转换为您编写的操作所需的格式，然后将其作为GET或POST请求发送到您的生产站点。它需要在整个文件中产生大量请求。

就像我说的，这真的很愚蠢而且有点疯狂：你真的应该把文件保存在你的服务器上。