Question

我正在使用带有9个节点的Hadoop集群。我想知道Hadoop集群中基本的datanode配置是什么。

我在Namenode和Datanode上使用以下配置。

    RAM = 4GB
    Cores = 4
    Disk = 8 ( Total 16GB storage space)

运行样本排序和字数统计作业以检查hadoop网络性能。

我选择的配置是否正确？

谢谢＆amp;的问候，

Abdul Navaz

Answer 1

理论上，您可以使用任何所需的配置，只要配置正确（以便Hadoop知道服务器功能等）。

实际上，每台服务器至少应有4GB的RAM（根据我的经验）。核心数量会影响性能，您应该有足够的可用磁盘空间来运行服务器（使用dfs.datanode.du.reserved中的设置hdfs-site.xml设置为非HDFS事物（例如服务器工作）保留的空间量

我不确定你应该为正常的Hadoop工作提供多少可用空间 - 我想这取决于你的工作。 16GB在任何情况下都不是很多。

一般来说，只要配置正确，您的设置应该没问题。