Impala并发查询延迟

Question

我的集群配置如下：

1. 3节点群集
2. 每个群集节点128GB RAM。
3. 处理器：每个群集节点16个核心超线程。 这3个节点都具有Kudu主服务器，T-Server和Impala服务器，其中一个节点具有Impala目录和Impala StateStore。

我的问题如下：

1）我很难在运行并发查询时弄清Impala中的动态资源池。我尝试给 mem_limit 仍然没有运气。我也尝试过静态服务池，但与此同时，我也无法实现所需的并发性。即使有了访问控制，也无法实现所需的并发性。

 I) The time taken for 1 query: 500-800ms.

 II) But if 10 concurrent queries are given the time taken grows to 3-6s per query.

 III) But if more than 20 concurrent queries are given the time taken is exceeding 10s per query.

2）提交查询后，我的一个集群节点未承担负载，我通过查询摘要对此进行了检查。我尝试在未承担负载的节点上将 NUM_NODES 设置为0和1，但摘要显示该节点未承担负载。

Answer 1

表的大小是多少？表中有几行？表是否已分区？如果您可以将配置与Impala基准进行比较，那就太好了

如上所述，Impala设计为在大规模并行处理基础架构上运行。如果当我们设置10个具有80个核心的节点和160个具有12 TB SAN存储的虚拟核心的设置时，我们可以在5个并发用户的情况下获得60秒的计算时间。