在hadoop中，我只想在每个节点上执行自己的自定义程序

Question

是的，我想在每个hadoop节点上运行我的自定义程序。 我想部署No mapper和reducer。 它就像分布式计算系统不像mapreduce（但在内部使用hdfs）。 我该怎么办？

Answer 1

MapReduce和Tez作业都使用YARN（Yet Another Resource Negotiator）在所谓的容器中通过集群进行分发和执行。您也可以自己使用YARN来运行自己的工作。请查看Hadoop Architecture Overview以获得高级概述。

Answer 2

如果你不想使用map reduce，你可以使用Apache tez https://tez.apache.org。你只需要在Apache中安装Apache tez就像在MR中一样。