Question

我正在运行配置单元查询，并且在设置hive.execution.engine = tez时遇到以下错误，而查询在engine = MR下工作。

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

我的查询是内部联接，数据非常大。

另一件事是我之前遇到过这个问题。但tez后来工作，所以我认为这是关于蜂巢不稳定的事情。

Answer 1

通过hive运行HQL时包括以下参数。这将为您提供详细的日志，您可以轻松确定根本原因。

-hiveconf hive.root.logger=DEBUG,console

我遇到了类似的问题，上面的财产帮助我度过了很长时间。

例如：我收到了以下消息

16/04/14 10:29:26 ERROR exec.Task: Failed to execute tez graph.
org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=20480, maxMemory=11288

当我将设置更改为11288时，我的查询完成了。

希望这会对你有所帮助。

Answer 2

使用以下属性检查 yarn-site.xml 。

<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
 <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
</configuration>

Answer 3

找到了"appropriate method will be triggered when changes occur"，这对我有用。需要添加用户名

hadoop

Hive tez执行错误

3 个答案: