我使用Apache-beam-2.3.0在Google云平台上运行DataFlow作业。每个dataFlow作业都有5个步骤。我想跟踪使用java SDK完成作业中每个步骤所花费的时间
Pipeline pipeline = Pipeline.create(options);
for(int i=0; i<5; i++) {
PCollection<String> csv = pipeline.apply(transform1);
csv.apply(transform2);
}
pipeline.run().waitUntilFinish();
如何使用PipelineResult
答案 0 :(得分:1)
您可以将queryMetrics与PipelineResult一起使用,以查看步骤级别的指标。例如:
Pipeline p = ...;
p.apply("create1", Create.of("hello")).apply("myStepName1", ParDo.of(new SomeDoFn()));
p.apply("create2", Create.of("world")).apply("myStepName2", ParDo.of(new SomeDoFn()));
PipelineResult result = p.run();
MetricResults metrics = result.metrics();
MetricQueryResults metricResults = metrics.queryMetrics(new MetricsFilter.Builder()
.addNameFilter("my-counter")
.addStepFilter("myStepName1").addStepFilter("myStepName2")
.build());
Iterable<MetricResult<Long>> counters = metricResults.counters();
// counters should contain the value of my-counter reported from each of the ParDo
// applications.
在这种情况下,您可以按照distribution metric的说明定义here,而不是计数器。这个link中的一些例子。