Question

我希望为我们的Dataflow作业设置合适的部署管道，允许对特定版本的作业进行持续交付和QA测试。

为了做到这一点，我希望将作业“构建”为可以在不同位置引用和执行的工件。为了做到这一点，我一直在研究数据流模板，但似乎必须为特定的GCP项目构建模板，这意味着我无法在我的暂存和生产项目之间共享工件。

有没有更好的方法来完成我想要做的事情？人们通常采取什么措施来强制实施可预测的部署管道？

Answer 1

根据模板创建作业时，您可以覆盖项目。以下是Go的一个例子。

package main

import (
    "context"
    "fmt"
    "log"

    "golang.org/x/oauth2/google"
    "google.golang.org/api/dataflow/v1b3"
)

func main() {
    ctx := context.Background()
    projectID := "PROJECT"
    bucket := "gs://BUCKET/"
    input := "gs://dataflow-samples/shakespeare/kinglear.txt"
    output := bucket + "shakespeare"
    temp := bucket + "temp"
    template := "gs://dataflow-templates/wordcount/template_file"

    client, err := google.DefaultClient(ctx, "https://www.googleapis.com/auth/cloud-platform")

    if err != nil {
        log.Fatal(err)
    }

    dataflowService, err := dataflow.New(client)
    if err != nil {
        log.Fatal(err)
    }
    templateService := dataflow.NewProjectsTemplatesService(dataflowService)


    mapP := map[string]string{"inputFile": input, "output": output}

    env := dataflow.RuntimeEnvironment{TempLocation: temp}
    r := dataflow.CreateJobFromTemplateRequest{GcsPath: template, Parameters: mapP, Environment: &env}

    resp, err := templateService.Create(projectID, &r).Do()
    if err != nil {
        log.Fatal(err)
    }

    fmt.Printf("Job URL: https://console.cloud.google.com/dataflow/job/%s?project=%s\n", resp.Id, resp.ProjectId)
}

创建用于多个GCP项目的数据流模板

1 个答案: