数据流:设置DataflowPipelineDebugOptions

时间:2019-02-01 05:08:38

标签: apache-beam dataflow

我的管道不断出现OOM错误,因此我读了一个令人沮丧的答案,然后尝试设置--dumpHeapOnOOM--saveHeapDumpsToGcsPath。但是,这些选项似乎不起作用。我需要更改代码或修改其他内容吗?

Memory profiling on Google Cloud Dataflow

1 个答案:

答案 0 :(得分:2)

您将要检查configuring-pipeline-options

Apache Beam(2.9.0)中在命令行中配置管道选项的当前方法是--<option>=<value>

根据您的情况,您可以设置--dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"