通过Spark访问OpenTSDB数据

时间:2018-01-30 23:11:55

标签: apache-spark hbase opentsdb

我目前有一个运行OpenTSDB实例的HBase数据库。需要以分布式方式处理OpenTSDB数据。

我实际上知道OpenTSDB将收集的指标和值存储在HBase上。但是,它存储为BLOB格式(二进制大对象),这使得很难利用Pig或Hive等引擎进行数据处理,因为数据不是以通用方式存储的。

我做了很多研究,实际上我发现了三件事:

  1. R2Time项目,它能够直接从OpenTSDB读取数据并执行分布式MapReduce算法
  2. 连接器OpenTSDB< - > Spark https://github.com/achak1987/opentsdb-spark
  3. 我还听说过处理HBase HTTP API以使用数据
  4. 由于2个第一个选项对我不起作用,我真的需要另一个涉及任何数据处理引擎(Spark或其他)的替代方案来完成我的工作。

    如果有人有任何黑客可以摆脱这种锁定方式,我将非常感激。

    谢谢

0 个答案:

没有答案