Hadoop HDFS最大文件大小

Question

我的一位同事认为HDFS没有最大文件大小，即通过划分为128 / 256mcg块可以存储任何文件大小（显然HDFS磁盘有一个大小而且会限制，但这是唯一的限制）。我找不到任何说有限制的内容，所以她是否正确？

谢谢，吉姆

Answer 1

显然有一个实际限制。但物理HDFS块ID是Java长 因此它们的最大值为2 ^ 63，如果块大小为64 MB，则最大大小为512 yottabytes。

Answer 2

我认为她说HDFS上没有最大文件大小是正确的。您唯一可以设置的是块大小，默认为64 MB。我想可以存储任何长度的大小，唯一的限制可能是文件的大小越大，容纳它的硬件就越大。

Answer 3

我不是Hadoop的专家，但是AFAIK，对单个文件大小没有明确的限制，尽管存在诸如总存储容量和最大命名空间大小等隐含因素。此外，可能存在关于实体数量和目录大小的管理报价。 HDFS容量主题在this document中有详细描述。引用的内容为here，并对here进行了讨论。

我建议您额外关注上一个链接所引用的Michael G Noll的博客，它涵盖了许多特定于hadoop的主题。