HBase BulkLoad数据恢复

时间:2017-07-31 20:50:51

标签: hbase data-recovery wal

由于Bulkload方法完全绕过写入路径,因此WAL不会被写入  作为流程的一部分,如何在以下情况下恢复批量加载的数据  区域服务器故障/崩溃?

1 个答案:

答案 0 :(得分:1)

HBase在HFile中存储数据,这是不可变的并放置在HDFS中,HDFS已经是可靠的存储。通常,此类文件的最小大小约为128mb。在创建HFile之前HBase在内存中累积需要大量数据,为了在此过程中实现持久性,HBase使用WAL。在这种情况下,在批量加载中,您不需要WAL,因为批量加载操作会直接创建HFile,并告诉HBase将它们用作数据存储的一部分。