rmr2 mapreduce总是为$ key和$ val生成NULL

时间:2016-08-07 01:38:11

标签: r hadoop cloudera

我根据JeremyChandra使用Cloudera Quickstart 5.7.0在R中安装了rmr2。我根据[Chandra]尝试了一个简单的mapreduce程序:

e.g ionic start myApp sidemenu

,df的输出为:

small.ints <- to.dfs(1:1000)
out <- mapreduce(input = small.ints, map = function(k, v) keyval(v, v^2))
df <- as.data.frame(from.dfs(out))

和from.dfs(out)显示:

data frame with 0 columns and 0 rows

[Jeremy]和[Chandra]的其他示例也产生相同的输出,尽管mapreduce在生成的/ tmp目录中显示_SUCCESS。有什么建议吗?

to.dfs和from.dfs似乎工作正常。我试过了:

$key
NULL

$val
NULL

,这会产生从1到1000的数字。

1 个答案:

答案 0 :(得分:0)

我现在想出来了。我从RStudio中安装了rmr2,不管怎么说,即使mapreduce函数似乎成功运行,该库也无法使用。我很惊讶在其中一个日志中,我读到rmr2没有找到,但脚本仍然给了我一个_SUCCESS!

我最终在R中安装了rmr2(使用sudo R),包含所需的软件包,reshape2和caTools,现在一切似乎都运行良好。