HiveServer2内存使用情况

Question

我正在使用HiveServer2进行开发，并调查其环境。

据说HiveServer2占用了大量内存。例如，Cloudera说我们需要几千兆字节才能运行HiveServer2服务器和MetaStore服务器： https://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_hiveserver2_configure.html

然而，当我执行查询以查看服务器的CPU和内存使用情况时，他们似乎没有消耗这么多内存。有谁知道我们是否真的需要大量内存来运行HiveServer2？任何建议和经验将不胜感激。

我的环境：

• 具有本地Metastore模式的HiveServer2（版本为cdh4.7，我认为它的hive版本相当于0.10，补丁0.11）。它的堆大小是384MB。
• Java应用程序作为HiveServer2客户端（提交查询）：
  • 同时执行20个查询。该查询只是扫描，但生成几十兆字节，如SELECT * FROM table LIMIT 100000
  • 同时执行20个查询。查询将计为：SELECT COUNT(*) FROM table

[编辑]

我从几个人那里听说分区的数量可能会有影响。我试试看结果。