使用Pg-Promise从JSON文件大量插入

时间:2018-05-07 04:03:47

标签: pg-promise

使用Pg-Promise助手和fs流加载巨大的JSON文件。

我正在使用pg-promise,我想使用pgp.helpers在表中进行大量插入。我已经看到像pg-promise这样的多行插入解决方案,并且还跟踪了数据导入流(Spex),但它仍然失败并出现与此帖https://github.com/vitaly-t/spex/issues/8

相同的错误

我尝试在CSV流(rs.csv())上使用其他帖子中的示例,但是当我用JSonStream解析器替换它时,我仍然得到相同的错误。

请您分享一个有效的例子吗?

db.tx(t => { return streamRead.call(t, stream.pipe(parser), receiver) })

1 个答案:

答案 0 :(得分:0)

可能有更好的方法,但下面的代码肯定有效! 我有每个插入语句20,000个块(row.length),您可以根据需要进行相应调整。

$ cat file1 | sed -e 's/[(,) ]/\n/g' | tr -d "-" | sed '/^$/d'
mynetgrouptest
192.19.23.57
192.19.23.58

如果这有助于改善过程,请通过评论告诉我。