如何在Vertica中跳过并继续文件加载失败？

Question

我正在尝试通过带有glob表达式的copy语句一次性通过NFS将数千个压缩文件加载到Vertica中，但操作正在中止以下错误：

ERROR 6253:  Error occured during LZO header processing: expecting more than 8 bytes, possibly file corrupted

告诉vertica继续加载所有好的文件并报告哪些文件在加载结束时失败了，这是正确的方法吗？

Answer 1

如果您运行的是Vertica 7.2.x，则会添加一个名为ERROR TOLERANCE的新参数。在此版本之前，它不存在。

您可以看到复制选项here。

  

在加载数据时独立处理每个源。   如果单个源无效，则不会回滚该语句。该   跳过无效的来源并继续加载。

     

对ORC文件，Parquet文件以及何时禁用此参数   使用受防护的用户定义加载（UDL）。

唯一的另一种选择是预先检查脚本中的有效性或单独加载它们（显然这将是一个性能问题，所以我会选择预先检查）。