我们在CDH 5.4.5中运行了hive。
在过去的几个月里,我们遭受了很多"无声的崩溃" - 在我们重置HS2并且一切正常运行之前,oozie中的查询运行速度太快,而oozie中的工作流程运行速度要慢得多。
我们的主要论点是与HS2的连接太多,导致一定的开销,最终HS2崩溃。
在使用netstat监控连接数之后,我们看到发生问题时的连接数大约是250而不是30.此外,我们看到70%的连接是Hue's。 当我们将色调连接的数量与已完成的查询数量进行比较时,我们没有看到任何相关性(oozie工作流程未被识别为Hue连接,因此HS2连接的唯一可能活动是Hive / Impala查询)。 / p>
所以,我们对Hue连接有疑问。 Hue在哪些操作/事件上打开与Hiveserver2的新连接?
每次打开查询窗口?
每次启动查询?