如何频繁同步市场数据并显示为历史时间序列数据

时间:2014-06-14 17:48:15

标签: mysql mongodb redis time-series

http://pubapi.cryptsy.com/api.php?method=marketdatav2

我希望能够持续同步市场数据(例如加密和其他交易所)。我想定期从这些交易所的订单中显示最新的买入/卖出价格作为历史时间序列。

我应该使用什么后端数据库来存储和渲染或绘制检索到的数据中的任何参数作为历史时间序列数据。

3 个答案:

答案 0 :(得分:0)

我建议您查看为处理时间序列数据而调整的数据库。浮现在脑海中的是InfluxDBThis question对时间序列数据库有更广泛的看法。

答案 1 :(得分:0)

我认为需要更多关于要求的细节。 它只是描述,"它需要同步时间序列数据"。什么是场景?什么是数据源和目的地?

选项1。

如果只是基于两个数据之间的数据同步问题,最简单的解决方案是CouchDB NoSQL系列(CouchDB,CouchBase,Cloudant)

它们都基于CouchDB,无论如何它们都提供数据中心级数据复制功能(XCDR)。因此,您可以将日期复制到其他数据中心的其他couchDB,甚至是移动设备中的couchDB。

我希望它对你有用。

选项2。

其他方法是数据集成方法。您可以使用ETL批处理作业同步数据。批处理工作者可以定期将数据复制到目标这是将数据复制到其他目标的最常用方法。它有很多工具支持ETL系列Pentaho ETL,Spring Integration,Apache Camel。

如果您向我提供更多详细信息,我可以更详细地帮助您

享受 -Terry

答案 2 :(得分:0)

我认为mongoDB是一个不错的选择。原因如下:

  1. 您可以轻松扩展,从而能够存储大量数据。使用相应的分片键时,您甚至可以将分片放置在它们所遵循的交换点附近,以提高速度,如果这应该成为一个问题。
  2. 副本集提供自动故障转移,这可能是一个问题
  3. 使用TTL功能,可以在TTL之后自动删除数据,有效地创建循环数据库。
  4. 聚合和map / reduce框架都会有所帮助
  5. MongoDB大学有一些免费课程可以防止你避免最常见的陷阱