不使用DataFlow的PUB / SUB到Bigquery

Question

我想使用pubsub将数据插入到bigquery表中。数据已处理，因此我不需要数据流。 我怎样才能做到这一点？ 预先感谢

Answer 1

Cloud Pub / Sub是一个队列服务，就像数据库一样。

您仍然需要在Cloud Pub / Sub和Bigquery之间执行执行队列中正在等待的作业的操作。为此，人们经常使用DataFlow，但是您可以实现自己的工作程序以从Pub / Sub读取并写入BigQuery。

Answer 2

Pubsub存储消息，这些消息应由客户端读取以进行处理。除了使用Pubsub之外，您还可以修改您的应用程序以直接将其插入到BigQuery中，因为消息中没有要处理的内容。 This link包含所有可用客户端进行流式加载的示例。对于批量检查，this one。

但是，如果您仍然需要转储邮件，则可以使用Beta Pub/Sub to BigQuery template。请注意，这是专用于传输结构化数据的中间过程。基本上有两个要求：

• Pubsub消息必须采用简单的JSON格式，例如{“ k1”：“ v1”，“ k2”：“ v2”}。然后，您的数据将插入到k1和k2列中。
• 该表应在执行之前存在于BigQuery中。

检查模板的链接以获取完整说明。

希望这些信息回答您的问题。