Question

我正在尝试为Hive 2.1.0（与Google Cloud Dataproc一起提供）设置LLAP（交互式查询）。我已经启用了Tez作为执行引擎，但是我找不到用于启用LLAP来使Hive更快的任何文档/步骤。可用的大多数用于Hortonworks集群，这是通过Ambari完成的。

Answer 1

我认为您可以在创建集群时遵循Hive Configuration Properties - LLAP添加以下属性。

--properties 'hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.queries=<n>,...'

请注意，Dataproc要将属性吸收到Hive中，必须使用“ hive：”前缀。

Answer 2

根据本文档using apache hive on cloud dataproc和Cloud SQL I/O and Hive Metastore



gcloud dataproc clusters create hive-cluster \
    --scopes sql-admin \
    --image-version 1.3 \
    --initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
    --properties 'hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets,hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.queries=<n>' \
    --metadata "hive-metastore-instance=<PROJECT_ID>:<REGION>:<INSTANCE_NAME>"

如果需要设置任何配置单元配置（hive-site.xml），只需在属性中添加hive：xxx。

如何在Dataproc群集中为Hive 2.1.0启用LLAP？

2 个答案: