拆分大型csv文件并导入到postgresql

Question

您好，

我试图找到解决我们目前遇到的问题的方法。我们在S3中有一个包含大约1米行的CSV文件，我需要读取此文件并插入到postgresql数据库中，而我这样做时我只需读取10000行然后插入数据库。需要读取下一个10000并执行相同的操作直到EOF。我看到的解决方案是当s3获取1m原始文件时触发lambda函数。这个lambda将读取10000行并将记录插入到每个10000的db fpr。问题是我的lambda超时，因为它花了超过5分钟来完成它。请提出一些解决方案。

Answer 1

一种可能的解决方案是使用处理文件位置的搜索功能（Perl / Python）。 此功能允许您直接跳转到文件位置并开始从中读取。 它对于读取大文件非常有用。