我需要澄清rmr + rhdfs(Rhadoop)和Datastax cassandra(CFS)。 目前rhdfs和rmr(to.dfs(),from.dfs())中的所有函数都在工作。
但是当我尝试运行mapreduce()时,会出现以下错误:
流式传输命令失败!.Hadoop流式传输失败,错误代码为1。
加上它根本不在jobtracker.no stderr中创建任何日志。 请帮助我知道原因。
答案 0 :(得分:1)
rmr 3.1.0与Apache Hadoop 2.2.0兼容
https://github.com/RevolutionAnalytics/rmr2/blob/master/docs/compatibility.md
DSE使用自定义的Hadoop 1.0.4,因此它说明了为什么mapreduce()无法进行测试。
一个解决方法是设置自己的hadooop集群并用CFS替换HDFS