HDFS如何同时将多个文件写入低层本地文件系统？

Question

我想知道HDFS如何在我完全理解之前同时写入许多文件时保持高性能。

例如，目前有100个文件可供一个数据节点读取或写入。我认为它不会只使用几个线程来执行正常的同步IO操作。 HDFS是否创建了100个工作线程来处理它们，或者在没有这么多线程的情况下使用一些异步IO机制？

Answer 1

是的，datanode将以100个线程为请求提供服务。 Hadoop HDFS datanode的上限是它一次服务的文件数。上限参数是dfs.datanode.max.xcievers。默认的uppper界限是256。