Cloudera Impala的内存配置

Question

我正在使用Impala，我知道impala会在内存中进行处理。我已经搜索了Impala配置选项的列表，但我还没有找到任何关于此的详细文档，尤其是关于内存/堆的文档。 Impala有这样的设置吗？或者它依赖于hdfs / datanode堆空间？我知道你可以使用-mem_limit来限制impala内存使用量，但我想更好地了解这是如何完成的。

Answer 1

截至CDH 5.1.0中包含的Impala 1.4.0版本，Impala在查询处理期间使用内存和磁盘。要详细了解如何控制Impala对内存的使用，我建议您阅读Cloudera documentation on Impala，特别是：

• Using YARN Resource Management with Impala
• Using HDFS Caching with Impala
• Modifying Impala Startup Options

您将找到有关如何配置Impala内存使用的许多方面的更多信息，包括与HDFS缓存和Hadoop YARN（通过Llama）的集成。有关HDFS缓存的更多信息，请参阅Andrew Wang and Colin McCabe's presentation from Hadoop Summit 2014。有关Llama的更多信息，请参阅Henry Robinson's presentation from Hadoop World NYC 2013。