HBase存档文件保存时间过长

Question

我们现在正在运行HBase并复制了一段时间。最近，存档文件在.archive目录中不断增长。我们最终在.archive目录中有3到4倍的实际数据。 Hbase master上的调试日志没有显示任何相关内容。据我所知，复制应该只影响WAL，并且应该对.archive目录（hFiles）没有影响。我们还有一个备份主机。我不确定那里的错误配置是否会产生不良影响。我可以在日志中看到＆＃34; TimeToLiveHFileCleaner＆＃34;正在初始化。从源代码中，生存时间的默认值是（hbase.master.hfilecleaner.ttl）5分钟。但这种情况并没有发生（我没有在日志中看到任何内容，文件仍然存在）。

提前感谢任何解决方案/建议。

Answer 1

这通常在以下情况发生

• HMaster清洁程序杂项未运行=>手动故障转移到另一个 HMaster再次启动它，因为如果它因某种原因失败，则不是 在同一HMaster上重新启动。
• 快照将文件保留在其中=>查看有关使用率很高的相关表的快照。删除旧快照将释放其各自的数据文件，并将其归档。
• 查看表是否具有KEEP_DELETED_CELLS，因为这也会保留 存档中的文件
• 检查TTL是否符合您的数据保留需求。版本号也是如此。 =>查看是否可以快速推出数据，但是MajorCompaction不会运行得太频繁，因为只有在运行MC时才真正发生数据删除。