我的管道不断出现OOM错误,因此我读了一个令人沮丧的答案,然后尝试设置--dumpHeapOnOOM
和--saveHeapDumpsToGcsPath
。但是,这些选项似乎不起作用。我需要更改代码或修改其他内容吗?
答案 0 :(得分:2)
您将要检查configuring-pipeline-options。
Apache Beam(2.9.0)中在命令行中配置管道选项的当前方法是--<option>=<value>
。
根据您的情况,您可以设置--dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"