将数据从BigQuery加载到Redis中

时间:2018-01-24 01:52:48

标签: python caching redis google-bigquery gcp

我试图将数据从BigQuery加载到Redis中,在过去3天的文档中,我转向SO,因为我发现没有具体的东西。那么,从BigQuery到Redis加载多个查询结果的好方法是什么,每个查询大约有几百条记录?是否有任何代码示例浮动,至少显示如何将结果集转换为适合加载到Redis的键值对?我想用Python来实现这个管道。请帮忙。谢谢!

编辑我们有一些我们想要推送到Redis的数据集,因此当用户运行查询时,它会针对Redis而不是BigQuery运行。我有一个片段,可以将查询中的数据提取到Python中的数据框中。我一直无法找到用于加载此数据的代码片段,甚至无法将其转换为键值对以供Redis使用。这是我需要帮助的部分。

1 个答案:

答案 0 :(得分:0)

  1. 将BigQuery表以新行分隔的JSON格式导出到GCS存储桶中
  2. 使用由GCS对象更改触发的Google Cloud Function在更改时读取JSON文件
  3. 将无服务器VPC连接器连接到Google Cloud Function,以便它可以运行Redis客户端。然后,它可以将文件内容写入Redis。

我结束了将Redis键用于BigQuery行,但这就是您可以自己弄清楚的细节。我在https://www.futurice.com/blog/bigquery-to-memorystore

上写了一个完整的博客