在Terraform中创建BigQuery视图

时间:2019-03-01 17:11:56

标签: google-bigquery terraform

我在BQ中有一堆基于Terraform中google_bigquery_table资源的表。我需要为这些表之一创建一个视图,但是,我不想创建另一个terraform资源来避免代码重复。这就是我现在的资源样子:

resource "google_bigquery_table" "default" {


dataset_id = "${var.dataset_id}"
  table_id   = "${var.table_id}"

  time_partitioning {
    type = "DAY" //Hardcoded because this is the only supported value
    field = "${var.time_partitioning_field}"
  }

  view {
    query = "${var.query}"
    use_legacy_sql = "${var.use_legacy_sql}"
  }

  schema =   "${file(var.schema)}"
}

相关的视图变量为:

variable "query" {
  type = "string"
  default = ""
}

variable "use_legacy_sql" {
  type = "string"
  default = "false"
}

我将查询变量设置为空字符串,因为我不希望其他任何表具有视图。

最后,这是包含视图的表模块:

module "myTable-editedView-bigquery-table"{
  source  = "./../../modules/google-bigquery-table"
  version = "0.1"
  schema = "${var.myTable_schema}"

  dataset_id   = "${module.myDataset-bigquery-dataset.dataset_id[0]}"
  table_id     = "${var.myTable_editedView_table_id}"

  query = <<SQL
      SELECT col1 ,  col2, col3, col4, col5
      FROM `myProject.myDataset.myTable`
      SQL

  time_partitioning_field = "${var.time_partitioning_field}"
  is_ready      = "${module.myDataset-bigquery-dataset.is_complete}"
  is_ready      = "${module.myTable-bigquery-table.is_complete}"
}

除了不提供查询变量/值,因为我不希望它们具有视图之外,其他表的格式类似。

计划似乎进行得不错,但由于采用terraform格式,导致每个现有表均出现错误,声称视图需要查询。我想这是有道理的,因为我为每个表定义了一个查询变量,但是我发现它将默认为空String而不创建视图。我应该从这里采取什么方法?

1 个答案:

答案 0 :(得分:0)

我认为您只需要一个 dynamic block 以便仅在需要时添加 view 块:

resource "google_bigquery_table" "default" {
  dataset_id = "var.dataset_id
  table_id   = "var.table_id
    
  time_partitioning {
    type = "DAY" //Hardcoded because this is the only supported value
    field = var.time_partitioning_field
  }
  
  dynamic "view" {
    for_each = var.query == null ? [] : [var.query]
    content {
      query = view.value
      use_legacy_sql = var.use_legacy_sql
    }
  }
    
  schema =   file(var.schema)
}

variable "query" {
  type = "string"
  default = null
}

variable "use_legacy_sql" {
  type = "string"
  default = "false"
}

请注意,您也不需要在任何地方都使用 "${var.var_name}",这与仅使用 var.var_name 相同。不过,我认为在早期的 Terraform 版本中情况并非如此。