运行异常/etc/hadoop/conf.cloudera.yarn/topology.py

时间:2015-09-01 08:58:16

标签: apache-spark cloudera yarn

每当我尝试在Cloudera CDH 5.4.4集群上运行Spark应用程序,Yarn客户端模式时,我都会收到以下异常(在堆栈跟踪中重复多次)。无论如何,该过程仍在继续(这是一个警告),但在日志中找到某些内容是不可能的。我该如何解决?

AAAAB
AAAL
AAKB
AKAB
AKL
KAAB
KAL
KKB
------
AFC
PC

4 个答案:

答案 0 :(得分:3)

提交Spark作业时遇到同样的问题。

很可能你没有" /etc/hadoop/conf.cloudera.yarn/topology.py"您运行Spark应用程序的服务器上的文件。或者" /etc/hadoop/conf.cloudera.yarn/topology.py"在一台或多台服务器上不可用。

您还可以通过在纱线群集模式下运行应用程序来解决此问题。

--master yarn-cluster

答案 1 :(得分:1)

chmod 755 /etc/hadoop/conf.cloudera.yarn/topology.py

答案 2 :(得分:0)

在这里找到解决方案:https://groups.google.com/a/cloudera.org/forum/#!searchin/cdh-user/Exception $ 20running $ 20 $ 2Fetc $ 2Fhadoop $ 2Fconf.cloudera.yarn $ 2Ftopology.py / cdh-user / fte4IPjX8TU / 0jUOGkXyCAAJ

只需为在构成脚本路径的所有目录上启动脚本的用户添加权限(用于读取和列出文件)。

答案 3 :(得分:0)

我面临同样的问题。您可以scp /etc/hadoop/conf.cloudera.yarn Username@Host:/etc/hadoop 在群集中的其他datanode中将其提交到您的提交外壳计算机,并注意到权限。希望对你没事。