数据未在OpenTSDB UI上间歇性地显示

Question

我们通过使用BigTable将指标推送到OpenTSDB（2.3.0）来运行一些高容量测试，并且不时出现一个奇怪的问题。对于某些指标，当我们运行查询时，一小时的数据会停止显示在Web UI上。 “缺失”数据的范围非常明确，并且以小时（UTC）为边界。过了一会儿，在重新运行相同的查询时，数据显示出来。除了小时跨度之外，似乎没有任何我们可以推断出的模式。有关寻找和调试的内容的任何指示？

Answer 1

在数据显示之前您需要等待多长时间？是不是总是最近的一小时缺少？

在发生这种情况时，您是否尝试过使用OpenTSDB CLI并发出扫描以查看数据是否可用？

http://opentsdb.net/docs/build/html/user_guide/cli/scan.html

您还可以通过HBase shell扫描查看是否可以通过该方式获取原始数据（这里有关于它如何存储在HBase中的信息）：

http://opentsdb.net/docs/build/html/user_guide/backends/hbase.html

如果您可以验证数据是否存在，则可能是Web UI问题。如果没有，下一个可能的罪魁祸首是在写入管道中备份的东西。

我不知道Google Cloud Bigtable后端层中会导致此行为的任何特定问题，但我相信有些人在高负载期间遇到了OpenTSDB压缩问题，导致性能下降。

值得在Google云端控制台中查看，以查看延迟，CPU或吞吐量图表中是否存在与您遇到问题的时间相关的任何异常值。