Spark：不允许HDFS自我抑制

Question

我收到HDFS错误

Self-suppression not permitted, Failed to replace a bad datanode on the
existing pipeline due to no more good datanodes being available to try

当我在4台计算机集群上运行Spark进程时。 HDFS是Yarn管理的，但Spark运行自己的集群（因此不由YARN管理）。

它发生在大约80％的过程中。

是否表明HDFS太慢＆＃34;对于Spark？

更新

我现在尝试的潜在解决方案是将以下XML代码段添加到hdfs-site.xml：

    <property>
        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
        <value>ALWAYS</value>
    </property>
    <property>
        <name>dfs.client.block.write.replace-datanode-on-failure.best-effort</name>
        <value>true</value>
    </property>