我正在尝试将来自外部webhook / RSS提要的数据流式传输到我的数据流中。我当时正在考虑使用pub / sub来接收消息,然后在Dataflow中对其进行处理。但是,我找不到这样做的选择。
除了将接收方队列服务器设置为侦听输入流之外,在GCP中作为托管服务还有更好的方法吗?
答案 0 :(得分:3)
选择PubSub是正确的选择!对于发布消息,您有2种解决方案:
您的任何一个Webhook都可以使用服务帐户启动OAuth身份验证,因此,您可以在请求的标头中将access_token添加到PubSub以直接发布消息
或者(因为我从未见过能够生成访问令牌的Webhook!),您必须设置一个Web服务器以接受您的Webhook请求。该网络服务器仅捕获HTTP调用并将消息发布到PubSub。您可以使用Cloud Function,Cloud Run或App Engine。
如果您有大量并发消息,建议您使用Cloud Run,它会更便宜。我wrote an article on this