我们目前正在开展一个项目，我们希望在大约80-100个Linux服务器的集群上执行图像/视频检测算法。我们搜索了可能的软件工具，并将Hadoop视为可能的解决方案。我在VMWare Image上安装了Hadoop作为主/从配置，并且能够通过Hadoop流执行用C ++编写的分析程序。由于分析算法的性质，我们无法将大小为1GB的视频文件拆分为分割。由于Hadoop Map / Reduce通过将输入文件分成64MB-128MB分割并将程序分配给分割所在的相应节点（数据位置），因此我无法使程序在从属节点上运行，而只能在主节点上运行。因此，此时我们可以根据节点可用性（CPU等）使Hadoop流执行程序，但不能在节点上拆分位置吗？ 我想知道Hadoop是否是执行图像/视频检测算法的正确工具？可以有一个更好的解决方案，可能是Apache Mesos / Spark等。
此致
答案 0 :(得分：0)
我们对上述问题进行了一些研究，我们得出的结论是，对于我们的情况，那就是运行特定视频文件的分析模块，hadoop / spark实现将是一种过度杀伤并从反面展示耳朵。利用开源MPI /调度程序应用程序可以更好地实现。经过分析，甚至开发在多个节点上运行的作业调度程序似乎相当容易，并且可以在相对2-3个月的时间段内开发
此致