使用apache beam python sdk使用PubSub读取和编写transoforms的示例

时间:2017-04-19 04:51:17

标签: google-cloud-dataflow apache-beam apache-beam-io

我在这里看到了https://cloud.google.com/dataflow/model/pubsub-io#reading-with-pubsubio对于Java的示例,但是当我看到https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/pubsub.py时,它说:

def reader(self):
    raise NotImplementedError(
        'PubSubSource is not supported in local execution.')

这是什么意思?云数据流Python SDK PubSub Source / Sink还没准备好?

3 个答案:

答案 0 :(得分:1)

这意味着当您在本地执行 管道时,当前不支持从PubSub读取(在您的计算机上,即不在云端)。本地执行主要用于测试。

使用Dataflow运行程序运行时支持PubSub。

答案 1 :(得分:0)

它似乎尚未准备好,因为我能够使用Java SDK在本地运行并使用pubsub模拟器,但正如您所遇到的那样,而不是使用Python SDK。

答案 2 :(得分:0)

对于在2019年访问此问题的任何人,只要提供正确的Google Cloud身份验证,我就可以确认PubSub可以与DirectRunner一起使用。