如何加载包含以＆＃39; |＆＃39;结尾的行的数据文件在postgres？

Question

我试图在postgres中加载大数据文件。 归档由＆＃39; |＆＃39;分隔。但我的问题是我的数据文件的每一行都以＆＃39; |＆＃39;结尾。和＆＃39; \ n＆＃39; 。所以postgres期待在最后一个＆＃39; |＆＃39;之后的另一个领域。 对于小文件，我刚删除了最后一个＆＃39; |＆＃39;并使用COPY正确加载数据，但我有一些文件超过800000行，最好的方法是什么？

数据文件行示例：

• 5 | ETHIOPIA | 0 | ven包快速醒来。单组|
• 6 | FRANCE | 3 |最后请求。常规，ironi |

Answer 1

您可以使用sed之类的内容删除文件的最后一个字符

cat file_with_80K_lines.txt | sed s'/.$//' > last_char_removed.txt