Impala - 元组插入的最大数量

Question

Impala中一次可以插入的最大元组数

INSERT INTO sample_table values ('john', 'high',....value 6, value 7, value 8 ......value 25), ('Kim', 'low',... value 6, value 7, value 8 ......value 25), 

鉴于元组是

('john', 'high',....value 6, value 7, value 8 ......value 25)

Answer 1

好。 n的限制应取决于impala frondend的JVM的堆栈大小，因为这种insert语句导致jflex（impala用作SQL解析器）至少递归{{1} }次，所有元组都存储在一个深度解析树中。假设您已经成功构建了这个令人讨厌的树，接下来应该将它序列化为一个节俭消息并传递它。我只能想象它会有多慢。

我建议使用n进行大量插入，转换为原始文件动作，或者使用LOAD，它在内部通过HDFS应用分布式读取和写入。