创建多个粘合爬网程序并将它们附加到terraform中的分类器

时间:2019-07-24 04:51:00

标签: terraform aws-glue aws-glue-data-catalog

我能够创建多个抓取工具,但无法将它们附加到多个分类器上。 可以说我使用GROK表达式创建了分类器(多个) 在下一步中,我将使用列表创建多个搜寻器。现在,我尝试将它们一个接一个地连接。

我尝试在我的搜寻器分类器中使用列表[],以便将一个搜寻器添加到分类器。

创建分类器

 resource "aws_glue_classifier" "glue_classifier" {
    #name of the grok classifier
    count = "${length(var.glue_classifer)}"
    count = "${length(var.glue_classification)}"
    name = "${lookup(var.common, "org")}_${lookup(var.common, "busseg")}${lookup(var.common, "sdlcenv")}_${lookup(var.common, "product")}_${var.glue_classifer[count.index]}_glueclassifer"

    grok_classifier {
      classification = "${var.glue_classification[count.index]}"
      grok_pattern   = "${var.grok_pattern}"
      custom_patterns = "${var.customgrookpattern}"  }
  }

我尝试在爬虫的分类中使用胶水分类。因此想到了创建var

  classifiers   = "${var.glue_crawlers_classifiers[count.index]}"

创建爬行者

resource "aws_glue_crawler" "dc" {
  count = "${length(var.glue_crawlers)}"
  count = "${length(var.glue_crawlers_classifiers)}"
  count = "${var.glue_source_s3_path!=""&& var.is_enabled ? 1 : 0}"
  name= ${var.glue_crawlers[count.index]}_gluecrawler"
  database_name = "${aws_glue_catalog_database.glue_dc_db.name}"
  description   = "${var.crawler_description_s3}"
  schedule      = "${var.glue_crawler_schedule_s3}"
  classifiers   = "${var.glue_crawlers_classifiers[count.index]}"
  role =   "${var.crawler_glue_role}"
  s3_target {
    path = "${var.glue_source_s3_path}"
  }
}

我尝试使用

期望具有多个带有多个分类器的搜寻器

0 个答案:

没有答案