我已经按照官方doc配置了本地(java)环境来执行Apache Beam Pipeline。
示例项目(WordCount)可以完美运行,但现在我想对其进行更改,并从PubSub主题获取输入数据,并将输出输出到BigQuery。
我已经创建了PubSub主题和BigQuery数据集,但我的问题是:如何为本地运行的Pipeline(用于 REMOTE 输入(pubsub主题)和输出(BigQuery)进行配置(用于调试目的)?
答案 0 :(得分:0)
查看课程PubsubIO / PubsubClient (或com.google.cloud.pubsub.v1)。
对于远程访问,您很可能需要注册一个外部IP。