如何定期将Redis数据发送给第三方服务？

Question

我需要在我的应用程序中构建某种分析功能。在高峰时期，我期望每秒获得15K的新记录。为了速度，我将使用Redis进行写入。但是应该格式化写入的数据并以某种方式发送给BigQuery for OLAP。最有效的方法是什么？

我可以想到两种方法：

1. 有一个单独的应用程序将连接到同一个 Redis实例/集群并定期获取写入的数据 使用他们的API批量插入BigQuery。
2. 使用Lua脚本定期发送Redis密钥和值 大量查询。

与我的阅读和研究一样，Lua脚本似乎是一个快速的解决方案。但是，我没有任何经验，我不知道有限制。例如，我可以通过由Redis运行的Lua脚本发送HTTP API调用吗？错误处理怎么样？

所以这是问题：

您建议如何满足我上面提到的需求？

• a）一个单独的应用
• b）Lua脚本
• c）杂交
• d）其他（那么，什么？）

当然，为什么？

谢谢

Answer 1

您是否尝试过AfterShip BigQuery流媒体？

• https://github.com/AfterShip/bigquery-streamer

它似乎正是您所需要的：“这是使用流插入模式将Redis记录传输到Google BigQuery的流光。”