我正在使用PutHBaseCell使用NiFi(v1.4)将数据写入HBase,我们每天处理约3亿次插入。有时我们会收到公告:
由于RetriesExhaustedWithDetailsException无法将StandardFlowFileRecord ...发送到HBase:x操作失败:ConnectionClosingException:y次,IOException:z次,路由到失败
我已将故障重新路由到PutHBaseCell中-我的理解是,当HBase拆分区域时,确实会出现周期性的故障,这是正常现象,并且确实是在短时间后成功插入了失败的记录。
但是,至少每天一次,此问题没有解决。上面的错误出现在没有结束的NiFi日志中,而我们能够解决的唯一方法是重启NiFi,只是看到它在一天内左右再次发生。
任何有关如何调查/纠正此问题的想法将不胜感激。我们的HBase / Hadoop(Cloudera发行版)管理员尚未在事物(HBase配置和日志)的HBase方面发现冒烟的人。