Question

在我们的群集上，即使是最简单的工作＆＃34; wordcount＆＃34;正在本地模式下运行。但是以前的工作使用oozie运行，我们观察到它们以集群模式运行。使用oozie运行hadoop作业是否存在本机hadoop作业的冲突？这是错误堆栈跟踪 -

java.lang.IllegalArgumentException: Can't read partitions file
    at org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:111)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:560)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:639)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:210)

引起：java.io.FileNotFoundException：文件_partition.lst不存在。在org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus（RawLocalFileSystem.java:408）在org.apache.hadoop.fs.FilterFileSystem.getFileStatus（FilterFileSystem.java:251）在org.apache.hadoop.fs.FileSystem.getLength（FileSystem.java:825）在org.apache.hadoop.io.SequenceFile $ Reader。（SequenceFile.java:1480）在org.apache.hadoop.io.SequenceFile $ Reader。（SequenceFile.java:1475）在org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.readPartitions（TotalOrderPartitioner.java:296）在org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.setConf（TotalOrderPartitioner.java:82）

我们的工作在我们没有安装Oozie的测试集群上正常运行。因此不确定这两件事是否相关。提前谢谢。

我们正在使用Cloudera发行版。

Answer 1

听起来他们正在使用不同的配置。首先，我要确保您运行的所有内容都使用相同的HADOOP_HOME。

Answer 2

经过多次重试，我们现在已切换到BigInsights。我个人认为CDH是一种很棒的Hadoop风味。但是由于我们没有完成原始安装，因此依赖的开销对我们的项目来说太过分了。由于我们之前在BigInsights上取得了成功，我们希望能够复制它。

Hadoop作业以本地模式运行。但是Oozie的工作以分布式模式运行

2 个答案: