由于Bulkload方法完全绕过写入路径,因此WAL不会被写入 作为流程的一部分,如何在以下情况下恢复批量加载的数据 区域服务器故障/崩溃?
答案 0 :(得分:1)
HBase在HFile中存储数据,这是不可变的并放置在HDFS中,HDFS已经是可靠的存储。通常,此类文件的最小大小约为128mb。在创建HFile之前HBase在内存中累积需要大量数据,为了在此过程中实现持久性,HBase使用WAL。在这种情况下,在批量加载中,您不需要WAL,因为批量加载操作会直接创建HFile,并告诉HBase将它们用作数据存储的一部分。