将HDP 2.2升级到2.3

时间:2016-08-19 10:55:42

标签: hadoop hive upgrade hue tez

我已经为我们的Hadoop集群将HortonWorks从2.2升级到2.3并对Hue进行了所有必需的更改(在HortonWorks文档中给出)但是hue客户端在Hive浏览器上访问Tez时遇到以下问题,而Hive CLI上的Tez工作正常。早些时候(HDP 2.2),Tez与Hue兼容但Hue客户端在HDP 2.3上使用Tez有问题吗?

问题1:将HDP 2.2升级到2.3后,Tez仍在HDFS和本地位置查找HDP 2.2 libs文件。 HDP 2.2位置:

  

HDFS: /hdp/apps/2.2.9.0-3393

     

本地文件: /usr/hdp/2.2.9.0-3393

问题1的临时解决方案:将2.3支持文件移至2.2

HDFS:

hdfs dfs -cp /hdp/apps/2.3.2.0-2950/tez/tez.tar.gz /hdp/apps/2.2.9.0-3393/tez/

本地文件:

cp /usr/hdp/2.3.2.0-2950/hive/lib/hive-exec-0.14.0.2.2.9.0-3393.jar /usr/hdp/2.2.9.0-3393/hive/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-yarn/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-yarn/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-mapreduce/lib/

从技术上讲,Tez必须寻找" / usr / hdp / current"目录是2.3.2.0-2950。

问题2:通过Hue在Tez上运行Hive会出现以下错误:

错误:

Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
ERROR : Failed to execute tez graph.
org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. No cluster diagnostics found.

通过一些研究发现,当Tez执行不需要运行Hive查询时,Hue客户端版本与AM版本匹配,而任何需要tez执行Hue客户端版本的查询显示为未知。

  • 当不需要Tez执行时,客户端版本和AM版本匹配:

    为应用程序创建了DAGAppMaster appattempt_1470224940790_0082_000001,versionInfo = [component = tez-dag,version = 0.7.0.2.3.2.0-2950,revision = 4900a9cea70487666ace4c9e490d4d8fc1fee96f,SCM-URL = scm:git:https://git-wip-us.apache.org/repos/asf/tez.git,buildTime = 20150930-1859] [INFO] [main] | app.DAGAppMaster |:将客户端版本与AM版本进行比较,clientVersion = 0.7.0.2.3.2.0-2950,AMVersion = 0.7.0.2.3.2.0-2950

  • 启用Tez执行时客户端版本和AM版本不匹配:

    为应用程序创建了DAGAppMaster appattempt_1470224940790_0092_000001,versionInfo = [component = tez-dag,version = 0.7.0.2.3.2.0-2950,revision = 4900a9cea70487666ace4c9e490d4d8fc1fee96f,SCM-URL = scm:git:https://git-wip-us.apache.org/repos/asf/tez.git,buildTime = 20150930-1859] 将客户端版本与AM版本进行比较,clientVersion = Unknown,AMVersion = 0.7.0.2.3.2.0-2950 [错误] [主要] | app.DAGAppMaster |:找到不兼容的版本,clientVersion =未知,AMVersion = 0.7.0.2.3.2.0-2950

在HDP 2.3上通过Hue启用Tez时,任何人都可以帮助找到不兼容版本错误的解决方案。

0 个答案:

没有答案