数据流未显示流管道的输出收集计数？

Question

我有一个从Pubsub读取的流传输管道。我正在使用apache beam python sdk 2.10。

我的管道包含不同的阶段。 当我们使用ReadFromPubsub从pubsub读取数据时，可以在第一阶段看到输入和输出集合计数。但是在第二阶段，仅显示输入收集计数，输出收集计数为空白。

在最后阶段，我正在写BigQuery。

Answer 1

Support for streaming pipelines with Apache Beam Python SDK on Google Cloud Dataflow is in Beta。

某些功能不受完全支持，某些监控指标就是这种情况。随着支持的改善，这些将逐渐添加。

这些计数器不可用，但是您可以使用指标计数器添加自己的计数器，如下所示：

from apache_beam.metrics import Metrics

def debug(msg):
  Metrics.counter('elementCounts', 'filePaths').inc()
  # The rest of your code....

有帮助吗？