Google CloudDataFlow工作人员多于元素?

时间:2017-08-18 23:26:18

标签: google-cloud-dataflow apache-beam

我的apache beam管道看起来像这样:

  vids = (p|'Read input' >> beam.io.ReadFromText(known_args.input)
       | 'Parse input' >> beam.Map(lambda line: csv.reader([line]).next())
       | 'Run DeepMeerkat' >> beam.ParDo(PredictDoFn(pipeline_args)))

我在输入带有要分析的视频列表的csv。在这次测试中有4个视频。

管道运行良好,但我不了解自动缩放功能。

目前识别4个元素(右侧)

enter image description here

但控制台显示增加到15名工人

如何有更多的工人而不是元素?

enter image description here

0 个答案:

没有答案