基本postgres csv导入 - 跟踪坏元组

时间:2013-12-28 02:19:18

标签: postgresql csv error-logging

这应该是基本的,但是我有一个包含600万行的平坦csv文件,我导入到postgres 9.1并且事情都很“好”,除了我在导入完成时默默地丢失了大约300万条记录。

我最初认为有一个错误的分隔符或文件结尾字符导致突然停止记录340万或类似的东西,但ID(数据本机,而不是自动生成)表明错过的行不是顺序但分散在整个文件中。

我想在python或pandas中预处理它,但是我对COPY\copy命令记录错误的postgres的相对文盲意味着我不知道哪些是冒犯的记录。

对不起,这不是一个可以重现的例子 - 希望这里有人可以轻松指出我正确的方向记录错误/默默拒绝元组(可能原因是什么?) - 我看到被拒绝的patch,但是可能有一些方法可以用现有的工具来做到这一点。

1 个答案:

答案 0 :(得分:0)

您可能想尝试设置log_statement

log_statement(ddl)