Hadoop单节点与多节点

Question

我设置了单节点和多节点（1个主节点和1个从节点）集群。当我尝试运行我的应用程序时，对于单节点和多节点都需要相同的时间。在我的应用程序中，我将数据从HDFS复制到本地文件系统，然后对其进行处理。这是因为我在本地存储了文件，并且群集中的其他节点无法访问这些文件吗？我提供的文件实际上分为3个块，所以逻辑上它应该在多节点上更快地处理。 有什么想法吗？

谢谢！

Answer 1

  

当我尝试运行我的应用程序时，两者都需要相同的时间   单节点和多节点。

根据所执行操作的类型和应用程序生成的负载量，所用时间的差异会有所不同。例如，复制几MB的数据将在单节点和多节点集群上花费几乎相同的时间。甚至，与多节点集群相比，单节点集群可能对小数据集显示出良好的结果。 Hadoop的实际功能在于利用多节点集群进行并行处理来处理庞大的数据集。

  

在我的应用程序中，我将数据从HDFS复制到本地文件系统   然后对其进行处理。

我认为在本地文件系统上复制数据以便在多节点环境中进行处理没有任何意义。通过这种方式，您可以限制自己使用分布式计算的强大功能。