我的Hadoop集群可以处理多少数据？

Question

我有一个4节点集群，配置为1个Namenode和3个datanode。我正在执行TPCH基准测试，我想知道您认为我的集群可以处理多少数据而不会影响查询响应时间。我的总可用高清大小约为700GB，每个节点都有cpu，有8个内核和16GB内存。

我看到了一些我们可以做的计算来找到音量限制，但我不理解IT，如果有人能够以一种简单的方式解释如何计算集群可以处理的数据量将会非常有帮助。

谢谢

Answer 1

您可以在群集中使用70％到80％的空间来存储数据，剩余的将用于处理和在群集中存储中间结果。

这样性能不会受到影响

Answer 2

正如您所提到的，您已经配置了4节点集群。您可以登录NN webUI - ＆gt;配置容量部分查看存储详细信息，如果您发现任何问题，请与我们联系。