Oozie Workflow中的Spark会抛出Class not found Exception

Question

] 1

Hue 3.10 Spark 1.6.0 CDH 5.8.0

当我使用spark-submit命令运行jar时，它工作正常，但使用色调工作流程会给我一个错误。

  

`java.lang.ClassNotFoundException：RowCountFilter       在java.net.URLClassLoader $ 1.run（URLClassLoader.java:366）       在java.net.URLClassLoader $ 1.run（URLClassLoader.java:355）       at java.security.AccessController.doPrivileged（Native Method）       在java.net.URLClassLoader.findClass（URLClassLoader.java:354）       at java.lang.ClassLoader.loadClass（ClassLoader.java:425）       at java.lang.ClassLoader.loadClass（ClassLoader.java:358）       at java.lang.Class.forName0（Native Method）       在java.lang.Class.forName（Class.java:270）       在org.apache.spark.util.Utils $ .classForName（Utils.scala：175）       在org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain（SparkSubmit.scala：689）       在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1（SparkSubmit.scala：181）       在org.apache.spark.deploy.SparkSubmit $ .submit（SparkSubmit.scala：206）       在org.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：121）       在org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）       在org.apache.oozie.action.hadoop.SparkMain.runSpark（SparkMain.java:256）       在org.apache.oozie.action.hadoop.SparkMain.run（SparkMain.java:207）       在org.apache.oozie.action.hadoop.LauncherMain.run（LauncherMain.java:49）       在org.apache.oozie.action.hadoop.SparkMain.main（SparkMain.java:52）       at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method）       at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）       at sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）       at java.lang.reflect.Method.invoke（Method.java:606）       在org.apache.oozie.action.hadoop.LauncherMapper.map（LauncherMapper.java:236）       在org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:54）       在org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453）       在org.apache.hadoop.mapred.MapTask.run（MapTask.java:343）       在org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:164）       at java.security.AccessController.doPrivileged（Native Method）       在javax.security.auth.Subject.doAs（Subject.java:415）       at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1693）       在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:158）   拦截System.exit（101）   失败的Oozie Launcher，Main class [org.apache.oozie.action.hadoop.SparkMain]，退出代码[101]

`

＆GT; 任何人都可以帮助缺少什么吗？

Answer 1

请共享您的job.properties和coordinator.properties文件。检查这些文件中的库路径oozie.libpath，并查看是否存在所需的jar。

当oozie触发作业时，它将检查lib路径中的jar分发到群集中的所有节点以供执行。

您可能还需要验证oozie-site.xml中的配置