标签: google-cloud-platform google-cloud-dataflow apache-beam dataflow
Dataflow working pipeline
数据流管道运行正常,但是无法查看每个步骤的日志以及添加的元素和估计的大小。在GCP上使用python sdk作为Apache Beam。 需要找出流水线每一步所花费的时间 1.PubSub到Bigquery 2.Pubsub到数据存储 请让我知道要获取每个步骤的时间指标需要做什么。