对Hadoop集群执行Mahout

Question

我有一个jar文件，其中包含mahout jar以及我编写的其他代码。 它在我的本地机器上工作正常。 我想在已安装Hadoop的集群中运行它。

当我这样做时

$ HADOOP_HOME / bin / hadoop jar myjar.jar args

我收到错误

    Exception in thread "main" java.io.IOException: Mkdirs failed to create /some/hdfs/path (exists=false, cwd=file:local/folder/where/myjar/is)
    at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java 440)
...
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

我检查过我可以在hdfs系统中访问和创建目录。 我也没有问题地运行hadoop代码（没有mahout）。

我在linux机器上运行它。

Answer 1

检查mahout用户和hadoop用户是否相同。并检查mahout和hadoop版本兼容性。

此致 Jyoti ranjan panda