从s3复制到redshift

Question

我正在从s3加载数据到redshift，使用MANIFEST指定加载，因为我必须加载8k文件（总数据集大小〜1TB）

我使用SQLWorkbench加载此数据集，我设置MAXERROR = 100000，但实际发生的错误大于100000（MAXERROR = 100000）。我认为SQLWorkbench的MAXERROR限制为100000.

有没有更好的方法呢？有什么建议吗？

Answer 1

如果您导入的数据实际上有超过100,000个错误，我建议您需要返回源并更正文件。如果那是不可能的，那么您可以尝试将数据加载到表中，将有问题的列设置为VARCHAR（MAX），然后您可以在Redshift内转换它们。