使用Hcatalog大于字段限制的文件

Question

我在独立工作（我们的群集尚未配置）。我尝试使用HCatalog从文件创建一个新表，但是我有以下错误。

field larger than field limit (131072)

此值似乎是io.file.buffer.size的值，配置为131072.我是对的吗？但是，此选项的说明是Size of read/write buffer used in SequenceFiles，所以我根本不确定。我的文件是一个文本文件。所以我不确定，这是改变的好地方。

有什么想法吗？

Answer 1

我想这是因为，

1. 在Hive create语句中设置的字段分隔符未设置为正确，因此缓冲区中的字段读取超出了允许的最大长度。
2. 您的字段分隔符设置正确，但某些字段确实很长，或者缺少正确的分隔符。如果是这种情况，你需要以某种方式预处理文件，以确保它不会有这种情况。

类似的问答here