如何定义一个DaemonSet来创建略有不同的pod?

时间:2017-02-22 08:14:23

标签: kubernetes flannel

如何定义DaemonSet的单个定义以创建与其略有不同的pod? 我的意思是不同的pod是由不同命令创建的pod。 我目前制作两个不同的DaemonSet对象来创建两种不同的pod。

让我告诉你细节。

我一直在修改kube-flannel.yml,尤其是DaemonSet的定义。 我想添加" - iface ="到flanneld [" / opt / bin / flanneld"," - ip-masq"," - kube-subnet-mgr"] 我想基于节点标签使用两个不同的以太网接口。

我有三种不同的节点: 1)具有两个以太网接口的主节点:eth0用于内部网络,eth3用于外部网络 2)具有一个以太网接口的从节点:eth0用于内部网络 3)具有一个以太网接口的新添加节点:用于内部网络的p2p1

当我有1)和2)时,我可以使用以下命令: [" / opt / bin / flanneld"," - ip-masq"," - kube-subnet-mgr"," - iface = - 的eth0"] 我必须添加--iface选项,因为主节点上的flanneld会自动检测eth0以外的eth3, 这是我手动添加iface选项的原因。

现在我有3), 我必须使用不同的命令制作两个DaemonSet定义: [" / opt / bin / flanneld"," - ip-masq"," - kube-subnet-mgr"," - iface = - eth0"] 1)和2) ,[" / opt / bin / flanneld"," - ip-masq"," - kube-subnet-mgr"," - iface = - p2p1"] 3) 标签选择器用于告知哪个DaemonSet用于节点。 最后附上了整个定义。

是否有更优雅的方法可以从单个DaemonSet定义创建略有不同的pod? 如果只有一个带有占位符的定义,可以用特定标签的值代替,那就太好了。

否则我可以通过以不同方式设置法兰绒来做到这一点? 如果我们可以给--iface选项提供以太网接口列表会很好,但是我的同事发现只有一个接口/ ip可以给--iface选项。

感谢。

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: flannel
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "type": "flannel",
      "delegate": {
        "isDefaultGateway": true
      }
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
--- 
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  labels:
    tier: node
    app: flannel
    iface: eth0
spec:
  template:
    metadata:
      labels:
        tier: node
        app: flannel
        iface: eth0
    spec:
      hostNetwork: true
      nodeSelector:
        beta.kubernetes.io/arch: amd64
        iface: eth0
      serviceAccountName: flannel
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.7.0-amd64
        command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=eth0" ]
        securityContext:
          privileged: true
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        volumeMounts:
        - name: run
          mountPath: /run
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      - name: install-cni
        image: quay.io/coreos/flannel:v0.7.0-amd64
        command: [ "/bin/sh", "-c", "set -e -x; cp -f /etc/kube-flannel/cni-conf.json /etc/cni/net.d/10-flannel.conf; while true; do sleep 3600; done" ]
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      volumes:
        - name: run
          hostPath:
            path: /run
        - name: cni
          hostPath:
            path: /etc/cni/net.d
        - name: flannel-cfg
          configMap:
            name: kube-flannel-cfg
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: kube-gpu-flannel-ds
  labels:
    tier: node
    app: flannel
    iface: p2p1
spec:
  template:
    metadata:
      labels:
        tier: node
        app: flannel
        iface: p2p1
    spec:
      hostNetwork: true
      nodeSelector:
        beta.kubernetes.io/arch: amd64
        iface: p2p1
      serviceAccountName: flannel
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.7.0-amd64
        command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=p2p1" ]
        securityContext:
          privileged: true
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        volumeMounts:
        - name: run
          mountPath: /run
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      - name: install-cni
        image: quay.io/coreos/flannel:v0.7.0-amd64
        command: [ "/bin/sh", "-c", "set -e -x; cp -f /etc/kube-flannel/cni-conf.json /etc/cni/net.d/10-flannel.conf; while true; do sleep 3600; done" ]
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      volumes:
        - name: run
          hostPath:
            path: /run
        - name: cni
          hostPath:
            path: /etc/cni/net.d
        - name: flannel-cfg
          configMap:
            name: kube-flannel-cfg

1 个答案:

答案 0 :(得分:0)

如果您需要更多关于容器命令的高级逻辑,我可以建议2个选项。

  1. 根据quay.io/coreos/flannel:v0.7.0-amd64构建自定义泊坞窗图像,并添加执行逻辑的脚本(例如,基于ifconfig | grep p2p1的输出)。使用脚本作为容器命令(在Dockerfile或POD规范中指定)。

  2. 同样的脚本也可以进入ConfigMap并挂载到容器中,就像你使用flannel配置一样。然后,您可以更改容器的command以执行此脚本。示例命令:["/bin/sh", "/etc/kube-flannel/entrypoint.sh"]

  3. 在我看来,选项2似乎更容易,更灵活。