我想问一下: 顺便说一句,我是PostgreSQL和PDI的新手。 我在Internet上对此进行了搜索,但我不了解PostgresSQL批量加载的工作方式以及为什么会显示此错误(下图)。
当我尝试将CSV插入postgres DB时出现此错误。
为什么我使用PostgreSQL批量加载? “对我的数据进行了一些ETL,然后尝试使用Table Output or Insert/Update
将其直接插入到postgre DB中,这导致我的转换过程需要很长时间(17m行需要2h55m,速度为1.500-1.750行/ s)。我将需要处理大约75m +的数据行。
这就是为什么我使用PostgreSQL批量加载并更改转换的原因。
我将进行2次转换。 1个用于数据处理,另一个用于使用大容量加载进行插入。
第一种转换,Text File Input
>做一些ETL并再次将数据> Text Files Output
处理为CSV。
第二次转换就像上面的图片。
或者,如果你们有什么想法/另一种方法可以做到这一点?
答案 0 :(得分:0)