配置环境RStudio的变量HADOOP_STREAMING

Question

我在Horton Hadoop上安装了RStudio 3.1。

目前，我的Hadoop Streaming env变量是使用此路径设置的     export HADOOP_STREAMING = / usr / lib / hadoop-mapreduce / hadoop-streaming.jar

使用RStudio

执行简单的mapreduce时出错

hadoop.streaming（）出错：   请确保环境。设置变量HADOOP_STREAMING

有谁能告诉我hadoop-streaming jar文件的正确路径是什么？感谢。

Answer 1

这取决于您安装hadoop库的位置，例如，如果您使用cloudera发行版，则可以在R中使用以下内容：

Sys.setenv(HADOOP_STREAMING = "/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hadoop-mapreduce/hadoop-streaming.jar")