我根据Jeremy和Chandra使用Cloudera Quickstart 5.7.0在R中安装了rmr2。我根据[Chandra]尝试了一个简单的mapreduce程序:
e.g ionic start myApp sidemenu
,df的输出为:
small.ints <- to.dfs(1:1000)
out <- mapreduce(input = small.ints, map = function(k, v) keyval(v, v^2))
df <- as.data.frame(from.dfs(out))
和from.dfs(out)显示:
data frame with 0 columns and 0 rows
[Jeremy]和[Chandra]的其他示例也产生相同的输出,尽管mapreduce在生成的/ tmp目录中显示_SUCCESS。有什么建议吗?
to.dfs和from.dfs似乎工作正常。我试过了:
$key
NULL
$val
NULL
,这会产生从1到1000的数字。
答案 0 :(得分:0)
我现在想出来了。我从RStudio中安装了rmr2,不管怎么说,即使mapreduce函数似乎成功运行,该库也无法使用。我很惊讶在其中一个日志中,我读到rmr2没有找到,但脚本仍然给了我一个_SUCCESS!
我最终在R中安装了rmr2(使用sudo R),包含所需的软件包,reshape2和caTools,现在一切似乎都运行良好。