Question

我正在使用CDH（Cloudera Hadoop）版本5.12.0（使用：Hadoop 2.6.0 Oozie 4.1.0）和Scalding 2.11

我正在使用内置依赖项的阴影jar。

我可以使用hadoop jar命令正确运行我的所有作业而不会出现任何错误：

hadoop jar /<path>/<to>/<my>/<project>.jar com.twitter.scalding.Tool 
    -libjars <comma>,<separated>,<list>,<of>,<dependencies>
    -D mapreduce.framework.name=yarn 
    -D yarn.app.mapreduce.am.staging-dir=/<path>/<to>/<staging>/<dir>
    -D mapreduce.map.output.compress=True 
    <my>.<scalding>.<job> --hdfs --input <my>/<input> --output <output>/<dir>

我还可以毫无困难地运行猪行动或其他行动的oozie工作流程。但是当我尝试使用java动作来运行oozie工作流时，就像这样调用烫伤：

<action name="myAction">
<java>
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <prepare>
    <delete path="<output>/<dir>"/>
  </prepare>
  <configuration>
    <property>
      <name>oozie.action.sharelib.for.java</name>
      <value>scalding</value>
    </property>
    <property>

   <name>oozie.launcher.mapreduce.task.classpath.user.precedence</name>
      <value>true</value>
    </property>
    <property>
      <name>oozie.launcher.mapreduce.task.classpath.first</name>
      <value>true</value>
    </property>
    <property>
      <name>oozie.launcher.mapreduce.job.user.classpath.first</name>
      <value>true</value>
    </property>
    <property>
      <name>mapreduce.job.user.classpath.first</name>
      <value>true</value>
    </property>
    <property>
      <name>mapreduce.task.classpath.user.precedence</name>
      <value>true</value>
    </property>
    <property>
      <name>mapreduce.task.classpath.first</name>
      <value>true</value>
    </property>
    <property>
      <name>mapreduce.map.log.level</name>
      <value>DEBUG</value>
    </property>
    <property>
      <name>mapreduce.reduce.log.level</name>
      <value>DEBUG</value>
    </property>

    <property>
      <name>mapreduce.job.log4j-properties-file</name>
      <value>${appLocation}/conf</value>
    </property>

    <property>
      <name>mapreduce.task.files.preserve.failedtasks</name>
      <value>true</value>
    </property>

    <property>
      <name>mapreduce.job.jvm.numtasks</name>
      <value>-1</value>
    </property>

    <property>
      <name>oozie.mapreduce.uber.jar</name>
      <value>/<path>/<to>/<my>/<class>.jar</value>
    </property>


  </configuration>
  <main-class>com.twitter.scalding.Tool</main-class>
  <java-opts>-Xms2G -Xmx3G</java-opts>
  <arg><my>.<scalding>.<job></arg>
  <arg>--hdfs</arg>
  <arg>--input</arg>
  <arg><my>/<input></arg>
  <arg>--output</arg>
  <arg><output>/<dir></arg>
  <file>/<path>/<to>/<my>/<project>.jar</file>
</java>

<ok to="end" />
<error to="sendEmailFailure" />

我也设置了：

oozie.libpath=<path>/<to>/<lib>/<directory>
oozie.use.system.libpath=true

在我的属性文件中，所有必需的jar都在libpath中，但是我在java动作找不到所需的依赖项时遇到错误：

Error: java.io.IOException: Split class cascading.tap.hadoop.io.MultiInputSplit not found at 
org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:363) at 
org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:432) at 
org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) at 
org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) at 
java.security.AccessController.doPrivileged(Native Method) at 
javax.security.auth.Subject.doAs(Subject.java:422) at

org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1917）org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:158）引起：java.lang.ClassNotFoundException：在

找不到类cascading.tap.hadoop.io.MultiInputSplit org.apache.hadoop.mapred.MapTask.getSplitDetails（MapTask.java:361）中的

org.apache.hadoop.conf.Configuration.getClassByName（Configuration.java:2108）... 7更多

这种情况不一致，因为如果我只在工作流程中放置一个操作，有时工作流程就会完成，有时会失败。如果我在工作流程中放置了多个操作，它最终会在某些操作上失败，并不总是相同的操作，但始终具有相同的错误。

我认为问题来自于动作获取它的依赖关系的方式，有时它会以正确的顺序加载它们并获得我想要的那个，有时它不会，并且缺少它所需的依赖性。但我是oozie的新手，谁知道呢？

我认为我可以增加oozie采取的每个动作的最大尝试次数，但我觉得这不是一个真正的解决方案，而且类似于将骰子推向群集。

我看到人们不久前发布了这个问题并回到CDH（4.1）的旧版本，但这对我来说不是一个选择。

建议？

oozie wofklow间歇性地在java动作上进行了烫伤

0 个答案: