我正在向我的Accumulo数据库中提取大量数据。
我的平板电脑分割门限是4G。
在我的程序工作期间,我看到平板电脑正在填满,当其中任何一个大于4G时,会创建一个新平板电脑,但始终保持空白。
最终我看到的是创建了> 200个平板电脑(初始数字为30),但所有这些都是空的 - 使用以下命令进行验证:
hadoop fs -du -h /apps/accumulo/data/tables/3/
结果:
16.9 G /apps/accumulo/data/tables/3/default_tablet
16.4 G /apps/accumulo/data/tables/3/t-0000cr6
16.6 G /apps/accumulo/data/tables/3/t-0000cr7
16.3 G /apps/accumulo/data/tables/3/t-0000cr8
17.3 G /apps/accumulo/data/tables/3/t-0000cr9
17.2 G /apps/accumulo/data/tables/3/t-0000cra
18.4 G /apps/accumulo/data/tables/3/t-0000crb
16.9 G /apps/accumulo/data/tables/3/t-0000crc
16.5 G /apps/accumulo/data/tables/3/t-0000crd
17.4 G /apps/accumulo/data/tables/3/t-0000cre
16.4 G /apps/accumulo/data/tables/3/t-0000crf
16.5 G /apps/accumulo/data/tables/3/t-0000crg
16.3 G /apps/accumulo/data/tables/3/t-0000crh
17.6 G /apps/accumulo/data/tables/3/t-0000cri
16.9 G /apps/accumulo/data/tables/3/t-0000crj
16.8 G /apps/accumulo/data/tables/3/t-0000crk
17.1 G /apps/accumulo/data/tables/3/t-0000crl
17.4 G /apps/accumulo/data/tables/3/t-0000crm
17.2 G /apps/accumulo/data/tables/3/t-0000crn
17.1 G /apps/accumulo/data/tables/3/t-0000cro
17.4 G /apps/accumulo/data/tables/3/t-0000crp
19.8 G /apps/accumulo/data/tables/3/t-0000crq
17.0 G /apps/accumulo/data/tables/3/t-0000crr
16.6 G /apps/accumulo/data/tables/3/t-0000crs
16.7 G /apps/accumulo/data/tables/3/t-0000crt
16.7 G /apps/accumulo/data/tables/3/t-0000cru
17.7 G /apps/accumulo/data/tables/3/t-0000crv
16.7 G /apps/accumulo/data/tables/3/t-0000crw
16.7 G /apps/accumulo/data/tables/3/t-0000crx
16.2 G /apps/accumulo/data/tables/3/t-0000cry
0 /apps/accumulo/data/tables/3/t-000109c
0 /apps/accumulo/data/tables/3/t-000118l
0 /apps/accumulo/data/tables/3/t-00011bv
0 /apps/accumulo/data/tables/3/t-00011cs
0 /apps/accumulo/data/tables/3/t-00011nx
0 /apps/accumulo/data/tables/3/t-0001212
0 /apps/accumulo/data/tables/3/t-0001238
0 /apps/accumulo/data/tables/3/t-00012a3
0 /apps/accumulo/data/tables/3/t-00012gn
0 /apps/accumulo/data/tables/3/t-00012ku
0 /apps/accumulo/data/tables/3/t-00012nf
所有其他平板电脑也都是空的。
这对我没有意义,我担心它会降低摄入率。这是一个已知的问题吗?什么不是平板电脑服务器按预期分割?
答案 0 :(得分:0)
Accumulo Tablets可以引用HDFS中目录之外的文件(在这方面与HBase相反)。如果你很勇敢,你可以验证这一点,看看accumulo.metadata表的内容:)
压缩表格,然后重新检查HDFS的内容。压缩完成后,每个平板电脑将唯一引用其自己目录中的文件。
另一种解释(虽然不太可能)是你的数据如此偏斜,以至于数据只存在于平板电脑的“关键空间”的上半部分或下半部分(因此只有一个分裂的子女包含数据)。 / p>