java.io.IOException:error = 2,Hadoop流中没有这样的文件或目录eroor

时间:2011-07-22 14:25:18

标签: hadoop mapreduce

请帮助解决hadoop流媒体的“-file”选项问题(在下面的链接中提到)。只是为了更新,我知道jar已经存在了,我在尝试hadoop-streaming之后尝试了另一个类文件失败了,所以要确定类文件本身是否有问题或者我是这样的使用它。如果您需要stderr文件,请告诉我。

Problem with Hadoop Streaming -file option for Java class files

2 个答案:

答案 0 :(得分:1)

你不能真正使用-file来发送jar,因为hadoop不支持多个jar(已经不在CLASSPATH中),请检查streaming docs

  

至少到版本0.14,Hadoop不支持多个jar文件。因此,在指定自己的自定义类时,您必须将它们与流式传输jar一起打包并使用自定义jar而不是默认的hadoop流式传输。

答案 1 :(得分:1)

要向CLASSPATH添加多个jar文件..您可以使用hadoop tutorial中指定的-libjars选项(在页面上搜索单词“libjar”)。