我是ML程序员,我正在建立一个高频交易模型。一旦我投入生产,我需要直接从市场上获取数据。我正在使用一个Influxdb数据库,即时间序列数据库(TSDB),但我不知道如何实时捕获数据。我知道我们可以使用的设计模式叫做Change Data Capture (CDC)。我们可以在InfluxDB-Python与CDC合作吗?这是一个更好的解决方案,InfluxDB与Debezium或单独使用?
答案 0 :(得分:1)
要捕获实时数据馈送,只要数据源提供合适的数据馈送,我就会使用websocket客户端,例如https://pypi.org/project/websocket-client和/或推送客户端(https://pusher.com/)。如果没有,我必须自己使用他们的REST API构建它。
现在,将数据源和InfluxDB之间的基于Python的CDC组件作为目标数据库也是可行的。