在InfoBright ICE中加载数据时遇到麻烦

Question

ICE版本： infobright-3.5.2-p1-win_32

我正在尝试加载一个大文件，但一直遇到错误问题，例如：

错误的数据或列定义。行：989，字段：5。

这是第989行，第5栏：

”（450）568-3 ***“

注意：最后3个字符也是数字，但不想在这里发布somebodys电话号码。

这与该领域的其他任何条目没有什么不同。

该字段的数据类型为VARCHAR（255）NOT NULL

Answer 1

此外，如果升级到当前版本4.0.6，我们现在支持LOAD期间的行级错误检查并支持拒绝文件。

要启用拒绝文件功能，必须指定BH_REJECT_FILE_PATH和其中一个关联参数（BH_ABORT_ON_COUNT或BH_ABORT_ON_THRESHOLD）。例如，如果要将数据从文件DATAFILE.csv加载到表T，但是您希望此文件中的10行可能格式错误，则可以运行以下命令：

设置@BH_REJECT_FILE_PATH ='/ tmp / reject_file';

设置@BH_ABORT_ON_COUNT = 10;

将数据infile DATAFILE.csv加载到表T;

如果拒绝少于10行，则会输出警告，加载将成功，所有有问题的行将输出到文件/ tmp / reject_file。如果Infobright Loader发现第十个坏行，则加载将以错误终止，并且到目前为止发现的所有错误行将输出到文件/ tmp / reject_file。

Answer 2

当文件的最后一行没有以--lines-terminated-by =“\ n”的值终止时，我遇到了这个问题。 例如，如果我要导入一个包含9000行数据的文件，我必须确保文件末尾有一个新行。 根据文件的大小，您可以使用文本编辑器打开它并点击返回k

Answer 3

我发现这与'\ r \ n'与'\ n'的差异一致。即使在Windows上运行加载程序时，'\ n'也会成功100％（假设您的数据与col。定义没有实际问题）