当数据到达我的BigQuery时，我想将其中的一些数据发送到另一个数据库-一个数据集市或为实时仪表板提供服务的可操作数据库。
我该怎么做？轮询巨大的BQ表太昂贵且太慢，我希望更新频繁-接近实时。
奇怪的是，我从BigQuery中找不到有关流的信息。
答案 0 :(得分：1)
轮询巨大的BQ表太昂贵且太慢了
请确保按天对数据进行分区，如果数据过多，请按小时对数据进行群集。
没有一种自然的方法可以在BigQuery到达时将数据从BigQuery中流出来，但是如果您对数据进行适当的分区和群集，则扫描的费用将比从朴素的表中花费的费用少。
实时：是否可以选择将数据从管道拆分到BigQuery和其他工具，而不是将其存储在BQ中之后？
发表评论
“我宁愿不更改每个客户端以写入两个目标，即BQ和PubSub”
让每个客户端仅写入Pub / Sub。然后单击以部署从Pub / Sub-BigQuery写入BigQuery的管道，以获取最可靠的管道。然后其他使用者可以订阅提供BigQuery的同一发布/订阅主题。