我可以在运行OS X的Macbook上运行hadoop上的MATLAB MapReduce Framework吗?

时间:2016-06-19 11:48:34

标签: macos matlab hadoop

我正在尝试在Hadoop上运行Maplab的Matlab。我正在尝试将matlab中的环境变量设置为hadoop安装文件夹。

setenv('HADOOP_HOME', '/usr/local/bin/hadoop')

但是我收到了这个错误:

Error using parallel.cluster.Hadoop (line 111) 
Unable to recognize '/Users/Hadoop/Documents/hadoop-2.7.2/' as a valid HADOOP installation folder. 
Check that this is the root of your HADOOP installation folder. 

MATLAB版本:R2015b OS X版本:10.10.5 OS X Yosemite Hadoop版本:2.7.2

我使用Homebrew

安装了hadoop
brew install hadoop

1 个答案:

答案 0 :(得分:1)

由于您使用的是Hadoop v2,因此您需要设置<GL\glew.h>HADOOP_PREFIX环境变量而不是MATLAB_HADOOP_INSTALL环境变量。

来自the documentation

  
      
  • 如果仅使用Hadoop v1,请设置HADOOP_HOME环境变量。
  •   
  • 如果您仅使用Hadoop v2,请设置HADOOP_HOME环境变量。
  •   
  • 如果您同时使用Hadoop v1和Hadoop v2,或者未设置HADOOP_PREFIXHADOOP_HOME环境变量,请设置HADOOP_PREFIX环境变量。
  •   

此外,您还要确保指向安装文件夹而不是可执行文件。因此,而不是MATLAB_HADOOP_INSTALL(可执行文件),它将类似于/usr/local/bin/hadoop(安装文件夹)。

您还需要指定要使用的hadoop的Java位置。 More information on that here