Rstuido的流命令失败

时间:2020-05-04 12:02:01

标签: r hadoop mapreduce

我正在尝试将R映射到mapredeuce程序。我在Rstuido中安装了hdfs和rmr2软件包。运行脚本时出现错误。

流命令失败! mr中的错误(map = map,reduce = reduce,combine = binver,vectorized.reduce, hadoop流失败,错误代码为5

这是我遵循的步骤。

Sys.setenv(HADOOP_OPTS =“-Djava.library.path = / usr / local / hadoop / lib / native”) Sys.setenv(HADOOP_HOME =“ / usr / local / hadoop”) Sys.setenv(HADOOP_CMD =“ / usr / local / hadoop / bin / hadoop”) Sys.setenv(HADOOP_STREAMING =“ / usr / local / hadoop / share / hadoop / tools / lib / hadoop-streaming-2.6.5.jar”) Sys.setenv(JAVA_HOME =“ / usr / lib / jvm / java-8-openjdk-amd64”) 库(rhdfs)

然后。

hdfs.init()

库(rmr2)

source('/ home / hduser / mr / map.R')

source('/ home / hduser / mr / reduce.R')

然后。

rr <-from.dfs(mapreduce(input ='testR.csv',input.format ='text',map = map_wc,reduce = reduce_wc,Combine = F))

0 个答案:

没有答案