HDP的HDFS复制过程确实很慢

Question

我目前正在与CDH和HDP一起工作。我的CDH系统的复制过程运行良好，但HDP不能

例如：

• 当我将HDFS（20TB）中大目录的复制因子设置为2时，HDFS需要删除2 millions blocks

• 当我再次将以上目录的复制因子设置为3时，HDFS将需要解决2 millions under replicated blocks

在CDH中，我只花了 3-5小时或更短的时间 来完成，但是HDP花了我大约 2天 。

我想提高HDP中复制过程的速度。

我四处搜寻，发现更改HDFS的某些复制配置可能会有所帮助。我还发现HDP与CDH相比缺少这些配置：

• dfs.namenode.replication.max-streams（默认值：2，CDH：20）
• dfs.namenode.replication.max-streams-hard-limit（默认值：4，CDH：40）
• dfs.namenode.replication.work.multiplier.per.iteration（默认值：2，CDH：30）

我在HDP中的配置上进行了更改，与CDH类似，但是没有运气。希望有人能帮忙！