特定表的hbase-default.xml中单元的最大大小

时间:2014-08-18 11:49:16

标签: java hadoop max hbase

是否可以在特定表的hbase-default.xml中配置单元格的最大大小。

如果可能,请告诉我配置最大单元格大小的方法列表。

Reference: I got this error,

java.lang.IllegalArgumentException: **KeyValue size** too large
at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1312)
at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941)
at org.apache.hadoop.hbase.client.HTable.put(HTable.java:908)

谢谢和问候, 哈

1 个答案:

答案 0 :(得分:2)

您的例外与此conf有关。

hbase.client.keyvalue.maxsize

您可以在java中将其设置为:

conf.set("hbase.client.keyvalue.maxsize",value);

指定KeyValue实例的最大允许组合大小。这是为存储在存储文件中的单个条目设置上限。由于它们不能被拆分,因此有助于避免因为数据太大而无法进一步拆分区域。将其设置为最大区域大小的一小部分似乎是明智的。将其设置为零或更小会禁用检查。