Question

尝试如下，但进口速度非常慢，速度为3行/秒

WbImport -file=c:/temp/_Cco_.txt
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name
         ---deleteTarget
         -batchSize=10000
         -commitBatch

Answer 1

WbInsert可以使用Postgres JDBC驱动程序的COPY API。

要use it，请使用

WbImport -file=c:/temp/_Cco_.txt
         -usePgCopy
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name

在这种情况下，选项-batchSize和-commitBatch将被忽略，因此您应将其删除。

然后，SQL Workbench / J实际上将使用与COPY ... FROM STDIN等效的名称。那应该比常规的INSERT语句快得多。

这需要根据COPY命令的要求格式化输入文件。

Answer 2

WbImport使用INSERT加载数据。这是将数据加载到Redshift中的最差方式。

您应该使用COPY命令，如Redshift文档中所述：

"We strongly recommend using the COPY command to load large amounts of data. Using individual INSERT statements to populate a table might be prohibitively slow."

如何提高SQL Workbench / J的导入速度

2 个答案: