光束/数据流警告＆amp; GCS中的僵尸桶

Question

我们有一个使用模板功能的Beam / Dataflow管道（使用Dataflow SDK 2.0.0-beta3并在GCP上运行）。每当我们运行它时，它总是吐出以下警告：

11:05:30,484 0    [main] INFO  org.apache.beam.sdk.util.DefaultBucket - No staging location provided, attempting to use default bucket: dataflow-staging-us-central1-435085767562
11:05:31,930 1446 [main] WARN  org.apache.beam.sdk.util.RetryHttpRequestInitializer - Request failed with code 409, will NOT retry: https://www.googleapis.com/storage/v1/b?predefinedAcl=projectPrivate&predefinedDefaultObjectAcl=projectPrivate&project=<redacted>"

但是，我们正在设置--stagingLocation参数，我们可以看到所有二进制文件/ jar等已上传到我们在--stagingLocation参数中指定的存储区。

然而，Beam / Dataflow在我们的项目中在GCS中创建了以下僵尸桶：dataflow-staging-us-central1-435085767562

如果我们明确设置--stagingLocation参数？

，为什么会发生这种情况

Answer 1

我怀疑这是BEAM-2143。具体来说，虽然错误说您需要指定--stagingLocation，但实际上您需要指定--tempLocation。