Hadoop / Elastic Map使用二进制可执行文件减少?

时间:2010-11-04 22:01:58

标签: python matlab amazon-web-services hadoop mapreduce

我正在编写和分发图像处理应用程序使用hadoop流,python,matlab和弹性图减少。我使用matlab编译器编译了我的matlab代码的二进制可执行文件。我想知道如何将其合并到我的工作流程中,以便二进制文件是亚马逊弹性地图缩小处理的一部分?

看起来我必须使用Hadoop分布式缓存?

代码非常复杂(并非由我编写),因此现在无法将其移植到另一种语言。

感谢

2 个答案:

答案 0 :(得分:0)

以下内容并不完全是您的Hadoop问题的答案,但我忍不住不问您为什么不在Grid资源上执行处理作业?在网格上执行计算密集型工作流程的解决方案已经过验证。据我所知,matlab运行时环境通常可以在这些资源上使用。如果你在学术界,你也可以考虑使用网格。

祝你好运

答案 1 :(得分:0)

约瑟夫,

我刚刚问了一个类似但更一般的问题版本。希望我们能得到一些答案。 ;)

Hadoop Streaming: Mapper 'wrapping' a binary executable

  • 尼克