Question

我正在使用Terraform azurerm提供程序版本1.19创建AKS集群。我想在创建集群时指定网络安全组规则，但是由于生成的安全组的名称带有随机数，因此我不知道如何引用创建的安全组。

类似的东西：

aks-agentpool-33577837-nsg

有没有办法引用创建的nsg或至少输出名称中使用的随机数？

配置以创建集群：

resource "azurerm_resource_group" "k8s" {
  name     = "${var.resource_group_name}"
  location = "${var.location}"
}

resource "azurerm_kubernetes_cluster" "k8s" {
  name                = "${var.cluster_name}"
  location            = "${azurerm_resource_group.k8s.location}"
  resource_group_name = "${azurerm_resource_group.k8s.name}"
  dns_prefix          = "${var.dns_prefix}"
  kubernetes_version  = "${var.kubernetes_version}"

  linux_profile {
    admin_username = "azureuser"

    ssh_key {
      key_data = "${file("${var.ssh_public_key}")}"
    }
  }

  agent_pool_profile {
    name    = "default"
    count   = "${var.agent_count}"
    vm_size = "${var.vm_size}"
    os_type = "Linux"
  }

  service_principal {
    client_id     = "${var.client_id}"
    client_secret = "${var.client_secret}"
  }

  tags {
    source      = "terraform"
    environment = "${var.environment}" 
  }
}

这将生成一个安全组，我想向其添加其他规则。我想添加一条规则，以便可以检查nginx-controller的活动性探针。

resource "azurerm_network_security_rule" "nginx_liveness_probe" {
  name                        = "nginx_liveness"
  priority                    = 100 
  direction                   = "Inbound"
  access                      = "Allow"
  protocol                    = "Tcp"
  source_port_range           = "*"
  destination_port_range      = "${var.nginx_liveness_probe_port}"
  source_address_prefix       = "*"
  destination_address_prefix  = "*"
  resource_group_name         = "${azurerm_kubernetes_cluster.k8s.node_resource_group}"
  network_security_group_name = How do I reference the auto-generated nsg ?
  description = "Allow access to nginx liveness probe"
}

Answer 1

回答您问题的解决方案：

data "azurerm_resources" "example" {
  resource_group_name = azurerm_kubernetes_cluster.example.node_resource_group

  type = "Microsoft.Network/networkSecurityGroups"
}

output name_nsg {
    value = data.azurerm_resources.example.resources.0.name
}

resource "azurerm_network_security_rule" "example" {
  name                        = "example"
  priority                    = 100
  direction                   = "Outbound"
  access                      = "Allow"
  protocol                    = "Tcp"
  source_port_range           = "*"
  destination_port_range      = "*"
  source_address_prefix       = "*"
  destination_address_prefix  = "*"
  resource_group_name         = azurerm_kubernetes_cluster.example.node_resource_group
  network_security_group_name = data.azurerm_resources.example.resources.0.name
}

.. 然后以同样的方式添加所有规则。

总的来说，最好使用 Azure Kubernetes 服务对 Kubernetes 服务的创建做出反应的自动化方式，而不是使用更多的 Terraform（尽管在 Kubernetes yaml 下面也可以与 Kubernetes Terraform provider 一起使用） :

<块引用>

网络安全组过滤 VM（例如 AKS 节点）的流量。在创建服务（例如 LoadBalancer）时，Azure 平台会自动配置所需的任何网络安全组规则。不要手动配置网络安全组规则来筛选 AKS 群集中 Pod 的流量。将任何必需的端口和转发定义为 Kubernetes 服务清单的一部分，并让 Azure 平台创建或更新适当的规则。您还可以使用网络策略（如下一节所述）来自动将流量过滤规则应用于 Pod。

在当前设置中，只需为您要公开的端口创建 Kubernetes 服务，就可以实现。

例如，当我部署入口控制器时，Kubernetes 服务的创建会触发 IP 地址/负载均衡器及其 NSG 的创建：

apiVersion: v1
kind: Service
metadata:
  name: ingress-ingress-nginx-controller
  namespace: ingress
spec:
  loadBalancerSourceRanges:
  - 8.8.8.8/32
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: http
  - name: https
    port: 443
    protocol: TCP
    targetPort: https
  selector:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress
    app.kubernetes.io/name: ingress-nginx
  type: LoadBalancer

通过创建映射到所需 pod 端口并指定 loadBalancerSourceRanges 的 Kubernetes 服务（类型 LoadBalancer），可以为您的自定义目标指定类似的设置。

apiVersion: v1
kind: Service
metadata:
  name: mycustomservice
  namespace: myownnamespace
spec:
  loadBalancerSourceRanges:
  - 8.8.8.8/32 # your source IPs
  - 9.9.9.9/32
  ports:
  - name: myaccessport
    port: 777
    protocol: TCP
    targetPort: mydestinationport
  selector:
    app.kubernetes.io/name: myapp
  type: LoadBalancer

另见the issue in the azurerm provider GitHub

Answer 2

我认为，您的AKC已添加到azurerm_resource_group，您可以使用Terraform对其进行配置。如果是这样，则可以将具有任意数量azurerm_network_security_group的自定义azurerm_network_security_rule添加到该资源组，作为detailed here。

示例：

resource "azurerm_resource_group" "test" {
  name     = "acceptanceTestResourceGroup1"
  location = "West US"
}

resource "azurerm_network_security_group" "test" {
  name                = "acceptanceTestSecurityGroup1"
  location            = "${azurerm_resource_group.test.location}"
  resource_group_name = "${azurerm_resource_group.test.name}"
}

resource "azurerm_network_security_rule" "test" {
  name                        = "test123"
  priority                    = 100
  direction                   = "Outbound"
  access                      = "Allow"
  protocol                    = "Tcp"
  source_port_range           = "*"
  destination_port_range      = "*"
  source_address_prefix       = "*"
  destination_address_prefix  = "*"
  resource_group_name         = "${azurerm_resource_group.test.name}"
  network_security_group_name = "${azurerm_network_security_group.test.name}"
}

不幸的是，网络安全组数据源上需要name参数，并且似乎不支持通配符，否则也可以选择通配符。

Answer 3

到这里有点晚了，但是刚刚遇到了这个问题。因此，对于仍在寻找解决方案的任何人，这就是我最终为获得AKS NSG名称所做的事情：

将其添加到预配置AKS的* .tf文件中：

resource "azurerm_network_security_rule" "http" {
  name                        = "YOUR_NAME"
  priority                    = 102
  direction                   = "Inbound"
  access                      = "Allow"
  protocol                    = "Tcp"
  source_port_range           = "80"
  destination_port_range      = "*"
  source_address_prefixes     = "${var.ips}"
  destination_address_prefix  = "${azurerm_public_ip.ingress.ip_address}"
  resource_group_name         = "${azurerm_kubernetes_cluster.test.node_resource_group}"
  network_security_group_name = "${data.external.aks_nsg_name.result.output}"

  depends_on = ["azurerm_resource_group.test"]
}

# get the NSG name
data "external" "aks_nsg_name" {
  program = [
    "bash",
    "${path.root}/scripts/aks_nsg_name.sh"
  ]

  depends_on = [azurerm_resource_group.test]
}

在您的项目中创建aks_nsg_name.sh并添加以下内容：

#!/bin/bash 
OUTPUT=$(az network nsg list --query [].name -o tsv | grep aks-agentpool | head -n 1)
jq -n --arg output "$OUTPUT" '{"output":$output}'

Terraform：使用azurerm_kubernetes_cluster创建AKS群集时，请指定网络安全组规则

3 个答案: