我正在使用Postgres,我想将CSV中的一些数据导入我的数据库。然而,数据是"关系"所以我不能逐行导入。
例如,我有一个Category
表。一行可以包含Comedy;Crime;Drama
格式的多个类别,因此我需要从Category
中找到正确的类别,以便创建关系。编辑:Category
表已预先填充了唯一值。
快速的方法是什么?我期望解析60-80GB但未来可能更多,所以我想要快速的东西。
我尝试使用Node快速完成此操作,我将流式传输文件,查找并创建每行的关系。池无法处理,所以我必须阅读,暂停,处理,恢复,重复。
我使用的是四核i7,所以我觉得我现在可以轻松加速这个过程,因为Node是单线程的。我该怎么做呢?