hadoop群集上可能发生内存泄漏? (hive,hiveserver2,齐柏林飞艇,spark)

时间:2018-12-12 06:06:55

标签: apache-spark hive apache-nifi apache-zeppelin

hiveserver2的堆使用率不断增加(第一张图片)。 有与蜂巢有关的应用,例如nifi,齐柏林飞艇,火花。 Nifi使用puthivesql,齐柏林飞艇使用jdbc(hive),spark使用spark-sql。我找不到任何线索。

enter image description here

1 个答案:

答案 0 :(得分:0)

配置单元需要大量资源来建立连接。因此,第一个原因是您的puthiveql处理器中有很多查询,导致每个人都需要打开连接。在蜂巢作业浏览器上引起注意(您可以为此目的使用色相)

可能的分辨率:例如如果您使用插入查询-请使用orc文件插入数据。如果您使用更新查询,请使用临时表和合并查询。