如何减少HDFS名称节点中的较大性能差异

Question

我在HDFS名称节点（v2.7）响应时间遇到严重的性能问题。尤其是在高峰流量期间，我的HDFS名称节点过载，并且某些DFS操作（如列出目录）可能会花费很长时间，这会影响Presto和其他Hadoop应用程序的查询响应时间。关于解决方案有什么建议吗？

Answer 1

在之前的高峰时间，我的团队在高延迟的Namenode RPC延迟中也面临着类似的挑战。我们使用多层体系结构解决了这些问题。更具体地说，我们有一个大型的，利用率很高的Hadoop集群（数万个节点），在它周围，我们有较小的计算集群（约1,000个节点），它们在Alluxio上运行Presto和其他不同的框架作为缓存层到大型HDFS群集。这样，Aluxio部署将在很大程度上避免数据和元数据服务压力。

有关更多信息，您可以查看此Strata Presentation。