Question

我有一个处理图像的matlab代码。我想创建一个使用该代码的Hadoop映射器。我遇到了以下解决方案，但不确定哪一个是最好的（因为很难在hadoop中为每个从节点安装matlab编译器运行时）：

在C ++中手动将该matlab代码转换为OpenCV，并从映射器调用其exe / dll（并提供适当的参数）。不确定，因为群集在每个节点而不是Windows上都安装了Linux。
使用Hadoop Streaming。但是Hadoop流需要一个可执行文件作为映射器，而matlab的可执行文件也需要Matlab Compiler Runtime，这很难安装在每个从属节点上。
将其自动转换为C / C ++代码并自动创建其exe（不确定这是否正确，因为exe要求运行matlab运行时，或者转换中存在编译器问题，这是非常困难的
使用Matlab Java Builder。但是这样创建的jar文件也需要运行时。

有什么建议吗？

提前致谢。

Answer 1

正如您可能已经怀疑的那样，由于MATLAB的运行时要求，这本身就很难做到。在尝试通过Condor运行MATLAB代码时，我有类似的经验（必须分发运行时库）。

就您列出的选项而言，选项＃1最有效。此外，您可能无法避免使用Linux。

但是，如果您不想失去更高级别软件（如MATLAB，Octave，Scilab等）提供的便利，您可以尝试将Hadoop流与Octave可执行脚本结合使用。

根据此（http://hadoop.apache.org/common/docs/r0.15.2/streaming），Hadoop流媒体并不关心可执行文件的性质（无论是可执行脚本还是可执行文件）。 HTML））。

所有它需要的是，它被给予一个“可执行文件”，另外可以a）从stdin读取，b）将输出发送到stdout。

GNU Octave程序可以转换为可执行脚本（在Linux中），能够从stdin读取并将输出发送到stdout（http://www.gnu.org/software/octave/doc/interpreter/Executable-倍频程Programs.html）。

作为一个简单的例子，考虑一下：

使用以下内容创建一个文件（例如“al.oct”）：

#!/bin/octave -qf  (Please note, in my installation i had to use "#!/etc/alternatives/octave -qf")
Q = fread(stdin); #Standard Octave / MATLAB code from here on
disp(Q);

现在从命令提示符发出以下命令：

chmod + x al.oct

al.oct现在是一个可执行文件......您可以使用“./al.oct”执行它。要查看stdin，stdout适合的位置（以便您可以将其与Hadoop一起使用），您可以尝试这样做：

>>cat al.oct|./al.oct|sort

或换句话说......“cat”文件al.oct，将其输出传递给可执行脚本al.oct，然后将al.oct的输出传递给sort实用程序（这只是一个例子，我们可能有“cat”任何文件，但由于我们知道al.oct是一个简单的文本文件，我们只是使用它。）

当然，Octave不支持您的MATLAB代码试图调用的所有内容，但这可能是使用Hadoop Streaming而不会失去更高级代码的便利性/功能的替代方法。

Answer 2

要转换的算法的性质不重要吗？如果MATLAB / Octave代码紧密耦合，则将其扩展到减少的映射可能会产生可怕的行为。

Answer 3

关于您的第一个选项：Matlab编码器现在支持许多图像处理功能（部分通过系统对象）来自动生成算法的C代码，这基本上与平台无关，不需要运行时环境。根据我的经验，这段代码比“手工编码”的OpenCV要慢2到3倍（强烈依赖于你的算法和cpu）。主要缺点是，您需要一个Matlab编码器许可证（$$$）。

Answer 4

这里的大部分答案似乎都在MATLAB R2014b之前。

在R2014b中，MATLAB允许在MATLAB中进行mapreduce并与Hadoop集成。

我无法确定您的具体用例，但您可能需要查看：

http://www.mathworks.com/help/matlab/mapreduce.html

http://www.mathworks.com/discovery/matlab-mapreduce-hadoop.html

如何在mapper（Hadoop）中使用MATLAB代码？

4 个答案: