OpenMP C ++程序可以在Hadoop中用作映射器/缩减器功能吗？

Question

我们可以将OpenMP和MapReduce结合起来：

  

Map / Reduce可用于在不同的计算机之间分发数据集   然后每台计算机运行映射器/缩减器功能，利用多处理   使用OpenMP。

这可能吗？ （我在谷歌搜索中找不到任何实质内容） 如果可能的话，这有什么好处吗？

P.S。我正在使用Hadoop Streaming Utility。

Answer 1

Hadoop的目的是让处理节点自动且透明地处理数据位置。

如果我理解正确，您只想将Hadoop用于存储，然后在OpenMP中执行Map / Reduce工作。虽然这应该是可能的，但最终会失去Hadoop的主要设计优势之一。

这种方法没有多大意义。我建议坚持使用Hadoop框架，或者如果你不喜欢它，可以查看其中一个alternatives。