从pub / sub流入大查询python时出错

时间:2017-06-29 21:18:23

标签: python google-bigquery google-cloud-pubsub apache-beam apache-beam-io

我无法通过插入这两个来创建将pub / sub源连接到大型查询接收器的dataflowRunner作业:

{{1}}

分别在github上的beam / sdks / python / apache_beam / examples / streaming_wordcount.py(https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/streaming_wordcount.py)示例中的第59行和第74行。删除第61-70行并指定正确的pub / sub和bigquery参数后,脚本在没有构建管道的情况下运行时没有错误。

旁注:脚本提到流管道支持不能在Python中使用。但是,在梁文档中,它提到apache_beam.io.gcp.pubsub.PubSubSource仅适用于流式传输 (" apache_beam.io.gcp.pubsub模块"标题:https://beam.apache.org/documentation/sdks/pydoc/2.0.0/apache_beam.io.gcp.html#module-apache_beam.io.gcp.pubsub下面的第一句话)

1 个答案:

答案 0 :(得分:4)

目前,您无法在Python数据流上流式传输。

监控此更改日志以查明它的日期:

(即将!)