将CSV导入Postgres的最快方法?

时间:2016-12-14 13:35:40

标签: postgresql csv

我正在使用Postgres,我想将CSV中的一些数据导入我的数据库。然而,数据是"关系"所以我不能逐行导入。

例如,我有一个Category表。一行可以包含Comedy;Crime;Drama格式的多个类别,因此我需要从Category中找到正确的类别,以便创建关系。编辑:Category表已预先填充了唯一值。

快速的方法是什么?我期望解析60-80GB但未来可能更多,所以我想要快速的东西。

我尝试使用Node快速完成此操作,我将流式传输文件,查找并创建每行的关系。池无法处理,所以我必须阅读,暂停,处理,恢复,重复。

我使用的是四核i7,所以我觉得我现在可以轻松加速这个过程,因为Node是单线程的。我该怎么做呢?

0 个答案:

没有答案