Question

我试图在hdfs中运行spark2提交作业，除了它不断提供错误java.lang.ClassNotFoundException: ca.Main at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

我有一个名为Spark_Submit_Job.sh的脚本

echo "Invoking spark2-submit"
/usr/bin/spark2-submit \
        --class "${className}" \
        --name "${appSparkName}" \
        --master "${master}" \
        --files "${SPARK_FILES}" \
        --conf spark.yarn.queue="${sparkYarnQueue}" \
        --jars ${hdfsRootPath}/${hdfsLibDir}/ingestion-framework.jar \
        --deploy-mode "${depMode}" \
        --principal ${keyTabUsername}@${kerberos_realm} --keytab ${keyTabLocation}/${keyTabName} \
        "${hdfsRootPath}${hdfsBinDir}/${appJar}" \
        "${stagingArea}" \
        "${sourceFileName}" \

我的scala文件位于/ Build / src / main / scala / ca下。我的className是ca.Main，我的Scala文件中有package ca和object Main。主是纱线，部署模式是集群。

Spark2-Submit with Yarn，ClassNotFoundException

0 个答案: