使用Sidecar模式进行Kubernetes日志收集

时间：2020-03-16 17:27:07

标签： logging kubernetes containers

我已经将我的应用程序与一个流利的sidecar容器一起部署到了Kubernetes容器中，该容器从示例应用程序中收集日志。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-flb-sidecar
  namespace: default
  labels:
    app.kubernetes.io/name: default
    helm.sh/chart: default-0.1.0
    app.kubernetes.io/instance: flb-sidecar
    app.kubernetes.io/version: "1.0"
    app.kubernetes.io/managed-by: Tiller
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: default
      app.kubernetes.io/instance: flb-sidecar
  template:
    metadata:
      labels:
        app.kubernetes.io/name: default
        app.kubernetes.io/instance: flb-sidecar
    spec:
      containers:
        - name: default
          image: "nginx:stable"
          imagePullPolicy: IfNotPresent
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
          livenessProbe:
            httpGet:
              path: /
              port: http
          readinessProbe:
            httpGet:
              path: /
              port: http
          resources:
            {}
          volumeMounts:
            - name: log-volume
              mountPath: var/log/nginx
        - name: default-fluentbit
          image: "fluent/fluent-bit:1.3-debug"
          imagePullPolicy: IfNotPresent
          ports:
            - name: metrics
              containerPort: 2020
              protocol: TCP
          volumeMounts:
            - name: config-volume
              mountPath: /fluent-bit/etc/
            - name: log-volume
              mountPath: var/log/nginx
      volumes:
        - name: log-volume
          emptyDir: {}
        - name: config-volume
          configMap:
            name: nginx-flb-sidecar

并且我的流利位配置为跟踪/var/log/ngnix/access.log

中的日志 
apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-flb-sidecar
  namespace: default
  labels:
    app.kubernetes.io/name: default
    helm.sh/chart: default-0.1.0
    app.kubernetes.io/instance: flb-sidecar
    app.kubernetes.io/version: "1.0"
    app.kubernetes.io/managed-by: Tiller
data:
  # Configuration files: server, input, filters and output
  # ======================================================
  fluent-bit.conf: |
    [SERVICE]
        Flush         5
        Log_Level     info
        Daemon        off
        Parsers_File  parsers.conf
        HTTP_Server   On
        HTTP_Listen   0.0.0.0
        HTTP_Port     2020

    [INPUT]
        Name tail
        Tag  nginx.access
        Parser nginx
        Path /var/log/nginx/access.log

    [INPUT]
        Name tail
        Tag  nginx.error
        Parser nginx
        Path /var/log/nginx/error.log

    [OUTPUT]
        Name stdout
        Match *

    [OUTPUT]
        Name          forward
        Match         *
        Host          test-l-LoadB-2zC78B5KYFQJC-13137e1aac9bf29c.elb.us-east-2.amazonaws.com
        Port          24224

  parsers.conf: |
    [PARSER]
        Name   apache
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   apache2
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   apache_error
        Format regex
        Regex  ^\[[^ ]* (?<time>[^\]]*)\] \[(?<level>[^\]]*)\](?: \[pid (?<pid>[^\]]*)\])?( \[client (?<client>[^\]]*)\])? (?<message>.*)$

    [PARSER]
        Name   nginx
        Format regex
        Regex ^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*))" "(?<agent>[^\"]*)"(?: "(?<target>[^\"]*))"$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   json
        Format json
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name        docker
        Format      json
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On

    [PARSER]
        Name        syslog
        Format      regex
        Regex       ^\<(?<pri>[0-9]+)\>(?<time>[^ ]* {1,2}[^ ]* [^ ]*) (?<host>[^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$
        Time_Key    time
        Time_Format %b %d %H:%M:%S

如果我没有卷挂载，则来自我的应用程序的日志将路由到stdout / stderr。

我需要启用fluent位以从stdout / stderr读取。我该如何实现？

谢谢

3 个答案:

答案 0 :(得分：1)

考虑到受支持的input plugins，无法配置流利的位以从stdout / stderr读取日志。

答案 1 :(得分：0)

我对 Kubernetes 没有任何经验，但在 Docker 领域，您可以使用 Docker Fluentd 日志驱动程序。它将 stdout/stderr 输出转发到 fluentd/fluent 位。 更多信息请点击here

您必须在 fluent-bit 容器中添加/设置 input forward。

答案 2 :(得分：0)

需要明确的是，无法在 Kubernetes 中运行的 fluentbit 中直接访问 stdout/stderr。您需要将日志写入磁盘的某个位置。事实上，尽管看起来有点浪费，但我发现同时写入 stdout 和磁盘上的某个位置实际上更好，因为您可以更严格地控​​制日志格式，并且不必在 fluentbit 中跳过尽可能多的循环将日志行转换为适合您的内容（这对于使用 log4net 或 Serilog 等日志记录提供程序的应用程序日志非常有用）。

无论如何，我想我会在这里留下这个简介，因为如果您可以将日志记录到标准输出和磁盘上的位置，这似乎是一个平易近人的解决方案。

在撰写本文时，Fargate 上的 AWS EKS 有点“流血边缘”，因此我们决定采用 sidecar 方法，因为它的功能更丰富一些。具体来说，不支持多行日志消息（这在记录异常时很常见），也不支持通过 Kubernetes 过滤器添加 K8s 信息，如 pod 名称等。

无论如何，这是我的 deployment.yml 的简化示例（用您的东西替换尖括号中的任何内容。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: <appName>
spec:
  replicas: 1
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: <appName>
    spec:
      containers:
      - image: <imageName>
        imagePullPolicy: IfNotPresent
        name: <appName>
        volumeMounts:
        - name: logs
          mountPath: /logs
      - image: public.ecr.aws/aws-observability/aws-for-fluent-bit:2.12.0
        name: fluentbit
        imagePullPolicy: IfNotPresent
        env:
        - name: APP_NAME
          valueFrom: 
            fieldRef:
              fieldPath: metadata.labels['app']
        volumeMounts:
        - name: fluent-bit-config
          mountPath: /fluent-bit/etc/
        - name: logs
          mountPath: /logs
      volumes:
      - name: fluent-bit-config
        configMap:
            name: fluent-bit-config
      - name: logs
        emptyDir: {}

以及我的 configmap.yml 的简化版本（如果您使用 `kubectl create configmap fluent-bit-config --from-file= 创建 fluent-bit.conf 和 parsers.conf 文件，则可以创建此文件fluent-bit.conf --from-file=parsers.conf --dry-run=cluent -o yml > configmap.yml）。这些文件最终会作为文件挂载在正在运行的容器上的 /fluent-bit/etc/ 下（这就是我在 /fluent-bit/etc 中引用 parsers.conf 的原因）。

apiVersion: v1
data:
  fluent-bit.conf: |-
    [SERVICE]
        Parsers_File    /fluent-bit/etc/parsers.conf

    [INPUT]
        Name                tail
        Tag                 logs.*
        Path                /logs/*.log
        DB                  /logs/flb_kube.db
        Parser              read_firstline
        Mem_Buf_Limit       100MB
        Skip_Long_Lines     On
        Refresh_Interval    5

    [FILTER]
        Name    modify
        Match   logs.*
        RENAME  log         event
        SET     source      ${HOSTNAME}
        SET     sourcetype  ${APP_NAME}
        SET     host        ${KUBERNETES_SERVICE_HOST}

    [OUTPUT]
        Name          stdout
  parsers.conf: |-
    [PARSER]
        Name   apache
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   apache2
        Format regex
        Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   apache_error
        Format regex
        Regex  ^\[[^ ]* (?<time>[^\]]*)\] \[(?<level>[^\]]*)\](?: \[pid (?<pid>[^\]]*)\])?( \[client (?<client>[^\]]*)\])? (?<message>.*)$

    [PARSER]
        Name   nginx
        Format regex
        Regex ^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name   json
        Format json
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

    [PARSER]
        Name        docker
        Format      json
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   On

    [PARSER]
        # http://rubular.com/r/tjUt3Awgg4
        Name cri
        Format regex
        Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<message>.*)$
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L%z

    [PARSER]
        Name        syslog
        Format      regex
        Regex       ^\<(?<pri>[0-9]+)\>(?<time>[^ ]* {1,2}[^ ]* [^ ]*) (?<host>[^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$
        Time_Key    time
        Time_Format %b %d %H:%M:%S
kind: ConfigMap
metadata:
  creationTimestamp: null
  name: fluent-bit-config

请注意，其中一个笨拙的部分是对 fluentbit 配置的任何更改都需要您强制部署应用程序，因为您需要 fluentbit sidecar 来获取新配置（您可以使用带有DateTime 或提交哈希，或者您甚至可以通过就绪探测变得聪明）。

另请注意 [FILTER] 部分。这就是从运行时环境中获取 kubernetes-contextual-info 的神奇之处（HOSTNAME 和 KUBERNETES_SERVICE_HOST 由 K8s 提供，您将标签作为 APP_NAME 注入元数据部分）。注入标签仅在 1.19 中添加到 K8s DownwardAPI，因此您需要使用较新的版本。

相关问题
最新问题