设置hadoop集群

Question

hadoop集群中的工作节点是否需要在每个节点上安装hadoop？

如果我只需要某些PC的计算能力，如果不在每个节点上安装HDFS，我只能使用map-reduce吗？

Answer 1

当您说工作节点时，它包含DataNodes和TaskTracker。因此，在这种意义上，如果您希望运行MR作业，则需要在每台机器上使用它们。

但这里的要点是你将单独使用MR做什么。我的意思是对存储在本地FS中的数据运行MR作业并不会有多大用处，因为在这种情况下你无法利用Hadoop提供的分布式数据存储和并行性的强大功能。

Answer 2

要使用节点的计算能力，您需要在该节点上运行TaskTracker。因此，必须安装Hadoop。

如果您不需要HDFS，则只能运行TaskTracker并且不启动DataNode。