我从oozie工作流程中触发一个火花作业时遇到异常。任何想法可能是什么问题?
org.apache.spark.SparkException:应用程序 application_1480735305639_6874已完成状态失败 在org.apache.spark.deploy.yarn.Client.run(Client.scala:940) 在org.apache.spark.deploy.yarn.Client $ .main(Client.scala:986) 在org.apache.spark.deploy.yarn.Client.main(Client.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) 在org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:672) 在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1(SparkSubmit.scala:180) 在org.apache.spark.deploy.SparkSubmit $ .submit(SparkSubmit.scala:205) 在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:120) 在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 在org.apache.oozie.action.hadoop.SparkMain.runSpark(SparkMain.java:185) 在org.apache.oozie.action.hadoop.SparkMain.run(SparkMain.java:176) 在org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:49) 在org.apache.oozie.action.hadoop.SparkMain.main(SparkMain.java:46) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) 在org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:236) 在org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54) 在org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453) 在org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) 在org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runSubtask(LocalContainerLauncher.java:378) 在org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runTask(LocalContainerLauncher.java:296) 在org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.access $ 200(LocalContainerLauncher.java:181) 在org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler $ 1.run(LocalContainerLauncher.java:224) at java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:471) 在java.util.concurrent.FutureTask.run(FutureTask.java:262) 在java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:615) 在java.lang.Thread.run(Thread.java:745)
答案 0 :(得分:0)
我遇到了为什么失败的问题。我是oozie的新手。基本上oozie在你的行动中有自己的mapreduce包装过程。因此,如果您的操作失败,它将遍历oozie包装器。我得到了这个异常,因为我的动作工作反过来又失败了我在map reduce wrapper中得到了这个异常。感谢