估计100GB Hadoop文件系统中的文件数量

时间:2014-09-18 15:46:23

标签: java file hadoop filesystems heap

我试图估算在NameNode为100 GB的Hadoop文件系统中可以存储多少个文件(或INode)。

abstract class INode implements Comparable<byte[]> {
    protected byte[] name;
    protected INodeDirectory parent;
    protected long modificationTime;
    protected long accessTime;
}

public class BlockInfo extends Block implements LightWeightGset.LinkedElement {
    private LightWeightGset.LinkedElement nextLinkedElement;
    private Object[] triplets;
}

假设每个INode的比率块为1.5:1。它还假设每个块有3个副本。除了这两个类之外,还有一个BlocksMap类,它包含对集群中所有块的引用。 可以在NameNode的堆上存储多少个INode?

到目前为止,我已经计算出类INode需要~N个字节和BlockInfo~24M,其中N是字节数组name的长度,M是块的数量。我该如何继续?

0 个答案:

没有答案