Cloudera中10个或更多查询的并行执行性能问题

时间:2018-06-27 11:41:39

标签: hive cloudera

我正在同一张表的不同列上并行执行10个或更多选择查询,这将引发我的应用程序,然后一个查询需要2到3分钟。 如果我的查询计数小于或等于5,则每个查询需要24秒才能并行执行。我正在使用Cloudera-5.14.2。和Hive数据库。我尝试了以下解决方案,但无法提高性能。

1- TEZ:

set hive.execution.engine=tez;

2- VECTORIZATION:

set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;

3-基于成本的查询优化:

set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;
set hive.stats.autogather=true;

有什么办法可以提高蜂巢中并行执行的性能。 什么是配置单元的并行执行流程。

0 个答案:

没有答案