我已经启动了具有正确配置的数据流作业。这工作了很长时间。但是,它已停止工作。
我检查了权限:数据流开发人员,计算查看器和存储对象管理员已经存在
Map<String, String> paramsMap = new HashMap<>();
paramsMap.put("compression", "GZIP");
paramsMap.put("inputFilePattern", makeGoogleScheme(inputFilePattern));
paramsMap.put("outputFailureFile", makeGoogleScheme(outputFailureFile));
paramsMap.put("outputDirectory", makeGoogleScheme(outputDirectory));
LaunchTemplateParameters parameters = new LaunchTemplateParameters();
parameters.setJobName(createJobName());
parameters.setParameters(paramsMap);
Dataflow.Projects.Templates.Launch launch = dataFlowClientFactory.getInstance(project)
.projects().templates()
.launch(
project.getProjectId(),
parameters)
.setGcsPath(GCS_PATH_FOR_BULKCOMPRESSION);
return launch.execute().getJob().getId();
作业失败并出现错误: 无法将文件写入临时位置“ gs:// dataflow-staging-us-central1-473832897378 / temp /”。请确保该目录的存储桶存在,并且确保工作流在其下运行的项目具有写入该存储桶的必要权限。
这似乎以前有用。请指点