hadoop流失败,错误代码为1 ..使用Datastax cassandra进行rmr(Rhadoop - R包)

时间:2014-04-19 07:18:07

标签: r git github datastax-enterprise rhadoop

我需要澄清rmr + rhdfs(Rhadoop)和Datastax cassandra(CFS)。 目前rhdfs和rmr(to.dfs(),from.dfs())中的所有函数都在工作。

但是当我尝试运行mapreduce()时,会出现以下错误:

流式传输命令失败!.Hadoop流式传输失败,错误代码为1。

加上它根本不在jobtracker.no stderr中创建任何日志。 请帮助我知道原因。

1 个答案:

答案 0 :(得分:1)

rmr 3.1.0与Apache Hadoop 2.2.0兼容

https://github.com/RevolutionAnalytics/rmr2/blob/master/docs/compatibility.md

DSE使用自定义的Hadoop 1.0.4,因此它说明了为什么mapreduce()无法进行测试。

一个解决方法是设置自己的hadooop集群并用CFS替换HDFS