Hbase写入性能在重启后的4-5天内会降低

时间:2018-04-20 12:27:49

标签: performance hbase phoenix

我们在群集中面临这个问题,我们使用phoenix来编写数据。我们发现我们的工作最初工作正常。但是几天后(4-5天)我们看到我们的工作时间急剧增加(4分钟到30分钟)。输入数据大小几乎相同。并且重新启动hbase将在接下来的4-5天内解决问题。

我们有70个区域服务器,每个服务器大小为128G。 50k(每个区域服务器)* 70(没有区域服务器)放置每个作业。

从RS日志中我可以看到responseTooSlow警告日志频率从40k /天增加到280k /天,但这些日志的响应时间小于1000ms。

2018-04-18 00:00:07,831 WARN [RW.default.writeRpcServer.handler = 10,queue = 4,port = 16020] ipc.RpcServer:(responseTooSlow):{“call”:“Multi(org) .apache.hadoop.hbase.protobuf.generated.ClientProtos $多请求) “ ”starttimems“:1524009607697 ”responsesize“:106, ”方法“: ”多“, ”processingtimems“:134, ”客户端“:” 192.168。 25.70:54718" , “queuetimems”:0, “类”: “HRegionServer”}

0 个答案:

没有答案