加载45 GB数据文件时出现Hbase性能问题

时间:2016-07-20 10:09:33

标签: hbase

Hbase性能问题

场景1 - >
我通过pig loader将数据加载到hbase表中,数据文件大约45GB,有6个进程将数据加载到6个不同的hbase表中。一些过程在6-7小时内完成,其他过程需要18个小时。为什么我在hbase中遇到的这种异常行为我的意思是说在6-7小时内加载相同数量的数据,有时需要超过18小时。

场景2 - >
之后我实现Hashing将数据加载到hbase中,但是仍然需要花费很多时间将数据加载到hbase中。我一次测试了1个过程,大约需要7个小时。

任何人都可以帮我解决这个问题,如何提高Hbase加载的性能。

感谢Advnace。 问候 阿米特

0 个答案:

没有答案