我正在尝试将R映射到mapredeuce程序。我在Rstuido中安装了hdfs和rmr2软件包。运行脚本时出现错误。
流命令失败! mr中的错误(map = map,reduce = reduce,combine = binver,vectorized.reduce, hadoop流失败,错误代码为5
这是我遵循的步骤。
Sys.setenv(HADOOP_OPTS =“-Djava.library.path = / usr / local / hadoop / lib / native”) Sys.setenv(HADOOP_HOME =“ / usr / local / hadoop”) Sys.setenv(HADOOP_CMD =“ / usr / local / hadoop / bin / hadoop”) Sys.setenv(HADOOP_STREAMING =“ / usr / local / hadoop / share / hadoop / tools / lib / hadoop-streaming-2.6.5.jar”) Sys.setenv(JAVA_HOME =“ / usr / lib / jvm / java-8-openjdk-amd64”) 库(rhdfs)
然后。
hdfs.init()
库(rmr2)
source('/ home / hduser / mr / map.R')
source('/ home / hduser / mr / reduce.R')
然后。
rr <-from.dfs(mapreduce(input ='testR.csv',input.format ='text',map = map_wc,reduce = reduce_wc,Combine = F))