我已经为我们的Hadoop集群将HortonWorks从2.2升级到2.3并对Hue进行了所有必需的更改(在HortonWorks文档中给出)但是hue客户端在Hive浏览器上访问Tez时遇到以下问题,而Hive CLI上的Tez工作正常。早些时候(HDP 2.2),Tez与Hue兼容但Hue客户端在HDP 2.3上使用Tez有问题吗?
问题1:将HDP 2.2升级到2.3后,Tez仍在HDFS和本地位置查找HDP 2.2 libs文件。 HDP 2.2位置:
HDFS: /hdp/apps/2.2.9.0-3393
本地文件: /usr/hdp/2.2.9.0-3393
问题1的临时解决方案:将2.3支持文件移至2.2
HDFS:
hdfs dfs -cp /hdp/apps/2.3.2.0-2950/tez/tez.tar.gz /hdp/apps/2.2.9.0-3393/tez/
本地文件:
cp /usr/hdp/2.3.2.0-2950/hive/lib/hive-exec-0.14.0.2.2.9.0-3393.jar /usr/hdp/2.2.9.0-3393/hive/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-yarn/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-yarn/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-mapreduce/lib/
从技术上讲,Tez必须寻找" / usr / hdp / current"目录是2.3.2.0-2950。
问题2:通过Hue在Tez上运行Hive会出现以下错误:
错误:
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
ERROR : Failed to execute tez graph.
org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. No cluster diagnostics found.
通过一些研究发现,当Tez执行不需要运行Hive查询时,Hue客户端版本与AM版本匹配,而任何需要tez执行Hue客户端版本的查询显示为未知。
当不需要Tez执行时,客户端版本和AM版本匹配:
为应用程序创建了DAGAppMaster appattempt_1470224940790_0082_000001,versionInfo = [component = tez-dag,version = 0.7.0.2.3.2.0-2950,revision = 4900a9cea70487666ace4c9e490d4d8fc1fee96f,SCM-URL = scm:git:https://git-wip-us.apache.org/repos/asf/tez.git,buildTime = 20150930-1859] [INFO] [main] | app.DAGAppMaster |:将客户端版本与AM版本进行比较,clientVersion = 0.7.0.2.3.2.0-2950,AMVersion = 0.7.0.2.3.2.0-2950
启用Tez执行时客户端版本和AM版本不匹配:
为应用程序创建了DAGAppMaster appattempt_1470224940790_0092_000001,versionInfo = [component = tez-dag,version = 0.7.0.2.3.2.0-2950,revision = 4900a9cea70487666ace4c9e490d4d8fc1fee96f,SCM-URL = scm:git:https://git-wip-us.apache.org/repos/asf/tez.git,buildTime = 20150930-1859] 将客户端版本与AM版本进行比较,clientVersion = Unknown,AMVersion = 0.7.0.2.3.2.0-2950 [错误] [主要] | app.DAGAppMaster |:找到不兼容的版本,clientVersion =未知,AMVersion = 0.7.0.2.3.2.0-2950
在HDP 2.3上通过Hue启用Tez时,任何人都可以帮助找到不兼容版本错误的解决方案。