我无法通过插入这两个来创建将pub / sub源连接到大型查询接收器的dataflowRunner作业:
{{1}}
分别在github上的beam / sdks / python / apache_beam / examples / streaming_wordcount.py(https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/streaming_wordcount.py)示例中的第59行和第74行。删除第61-70行并指定正确的pub / sub和bigquery参数后,脚本在没有构建管道的情况下运行时没有错误。
旁注:脚本提到流管道支持不能在Python中使用。但是,在梁文档中,它提到apache_beam.io.gcp.pubsub.PubSubSource仅适用于流式传输 (" apache_beam.io.gcp.pubsub模块"标题:https://beam.apache.org/documentation/sdks/pydoc/2.0.0/apache_beam.io.gcp.html#module-apache_beam.io.gcp.pubsub下面的第一句话)
答案 0 :(得分:4)
目前,您无法在Python数据流上流式传输。
监控此更改日志以查明它的日期:
(即将!)