麻烦Hadoop RecommenderJob

时间:2014-07-20 21:27:54

标签: hadoop mahout mahout-recommender

我已成功将输入文件'input.txt'和'users.txt'添加到HDFS。我已经成功地分别测试了Hadoop和Mahout的工作。但是,当我使用以下命令行运行RecommenderJob时:

  

bin / hadoop jar /Applications/mahout-distribution-0.9/mahout-core-0.9-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -Dmapred.input.dir = / user / valtera45 / input / input.txt -Dmapred.output.dir = / user / valtera45 / output   --usersFile /user/valtera45/input2/users.txt --similarityClassname SIMILARITY_COOCCURRENCE

这是我得到的输出:

  

线程“main”中的异常java.io.IOException:无法打开文件名/user/valtera45/temp/preparePreferenceMatrix/numUsers.bin       at org.apache.hadoop.hdfs.DFSClient $ DFSInputStream.openInfo(DFSClient.java:1444)       在org.apache.hadoop.hdfs.DFSClient $ DFSInputStream。(DFSClient.java:1435)       在org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:347)       在org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:178)       在org.apache.hadoop.fs.FileSystem.open(FileSystem.java:351)       在org.apache.mahout.common.HadoopUtil.readInt(HadoopUtil.java:339)       在org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.run(RecommenderJob.java:172)       在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)       在org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.main(RecommenderJob.java:322)       at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)       at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)       at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)       at java.lang.reflect.Method.invoke(Method.java:606)       在org.apache.hadoop.util.RunJar.main(RunJar.java:156)

每当我运行一个独立的Mahout作业时,都会在Mahout目录中创建一个临时文件夹。 RecommenderJob似乎无法通过这一步骤。有任何想法吗?提前致谢。我知道我使用的输入文件格式正确,因为它们已成功地为其他人工作。

1 个答案:

答案 0 :(得分:0)

hadoop jar mahout-core-0.8-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -Dmapred.input.dir=large_data.csv -Dmapred.output.dir=output/output1.csv -s SIMILARITY_LOGLIKELIHOOD --booleanData --numRecommendations 5

我正在使用这个,我的程序在带有mahout和hadoop的ec2实例上成功运行,但我无法获得相关结果。如果有人知道任何事情,请回复此事。