Google云端-如何从远程PubSub获取数据作为本地执行的Apache Beam Pipeline的输入?

时间:2019-04-30 12:57:03

标签: google-cloud-platform apache-beam google-cloud-pubsub

我已经按照官方doc配置了本地(java)环境来执行Apache Beam Pipeline。

示例项目(WordCount)可以完美运行,但现在我想对其进行更改,并从PubSub主题获取输入数据,并将输出输出到BigQuery。

我已经创建了PubSub主题和BigQuery数据集,但我的问题是:如何为本地运行的Pipeline(用于 REMOTE 输入(pubsub主题)和输出(BigQuery)进行配置(用于调试目的)?

1 个答案:

答案 0 :(得分:0)

查看课程PubsubIO / PubsubClient (或com.google.cloud.pubsub.v1)。

对于远程访问,您很可能需要注册一个外部IP。