HDFS是否提供异步写入？

Question

通过API和文档，我得到的印象是hdfs不提供完全异步的写操作。在写操作返回之前，必须等待块的最小复制（默认为1）才能完成。有没有办法使用HDFS API完全异步编写？ 谢谢。

Answer 1

不，HDFS API没有提供异步写入的任何功能，因为它应该提供持久性和阻塞写入。如果性能是目标，那么一个好主意是在写入HDFS之前尽可能地将数据累积到最小块大小。但是，如果机器发生故障并且您没有将数据写入HDFS，则数据将丢失。