使用apache beam python sdk使用PubSub读取和编写transoforms的示例

Question

我在这里看到了https://cloud.google.com/dataflow/model/pubsub-io#reading-with-pubsubio对于Java的示例，但是当我看到https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/pubsub.py时，它说：

def reader(self):
    raise NotImplementedError(
        'PubSubSource is not supported in local execution.')

这是什么意思？云数据流Python SDK PubSub Source / Sink还没准备好？

Answer 1

这意味着当您在本地执行 管道时，当前不支持从PubSub读取（在您的计算机上，即不在云端）。本地执行主要用于测试。

使用Dataflow运行程序运行时支持PubSub。

Answer 2

它似乎尚未准备好，因为我能够使用Java SDK在本地运行并使用pubsub模拟器，但正如您所遇到的那样，而不是使用Python SDK。

Answer 3

对于在2019年访问此问题的任何人，只要提供正确的Google Cloud身份验证，我就可以确认PubSub可以与DirectRunner一起使用。