Question

我试图为两个Kubernetes服务定义一个水平Pod自动缩放器。

Autoscaler策略依赖于3个指标：

cpu
pubsub.googleapis.com |订阅| num_undelivered_messages
loadbalancing.googleapis.com | https | request_count

可以正确获取

CPU 和 num_undelivered_messages ，但是无论我做什么，我都无法获得 request_count 指标。

第一个服务是后端服务（服务A），另一个（服务B）是使用Ingress来管理对该服务的外部访问的API。

自动缩放策略基于Google文档：Autoscaling Deployments with External Metrics。

对于服务A，以下内容定义了用于自动缩放的指标：

apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: ServiceA
spec:
  scaleTargetRef:
    apiVersion: extensions/v1beta1
    kind: Deployment
    name: ServiceA
  minReplicas: 1
  maxReplicas: 3
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 80
  - external:
      metricName: pubsub.googleapis.com|subscription|num_undelivered_messages
      metricSelector:
        matchLabels:
          resource.labels.subscription_id: subscription_id
      targetAverageValue: 100
    type: External

对于服务B，以下内容定义了用于自动缩放的指标：

apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: ServiceB
spec:
  scaleTargetRef:
    apiVersion: extensions/v1beta1
    kind: Deployment
    name: ServiceB
  minReplicas: 1
  maxReplicas: 3
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 80
  - external:
      metricName: loadbalancing.googleapis.com|https|request_count
      metricSelector:
        matchLabels:
          resource.labels.forwarding_rule_name: k8s-fws-default-serviceb--3a908157de956ba7
      targetAverageValue: 100
    type: External

如以上文章中所定义，指标服务器正在运行，并且指标服务器适配器已部署：

$ kubectl get apiservices |egrep metrics
v1beta1.custom.metrics.k8s.io          custom-metrics/custom-metrics-stackdriver-adapter   True        2h
v1beta1.external.metrics.k8s.io        custom-metrics/custom-metrics-stackdriver-adapter   True        2h
v1beta1.metrics.k8s.io                 kube-system/metrics-server                          True        2h
v1beta2.custom.metrics.k8s.io          custom-metrics/custom-metrics-stackdriver-adapter   True        2h

对于服务A，所有指标（CPU和num_undelivered_messages）均已正确获取：

$ kubectl get hpa ServiceA
NAME       REFERENCE             TARGETS               MINPODS   MAXPODS   REPLICAS   AGE
ServiceA   Deployment/ServiceA   0/100 (avg), 1%/80%   1         3         1          127m

对于服务B，HPA无法获取请求计数：

$ kubectl get hpa ServiceB
NAME                REFERENCE    TARGETS                              MINPODS   MAXPODS   REPLICAS   AGE
ServiceB   Deployment/ServiceB   <unknown>/100 (avg), <unknown>/80%   1         3         1          129m

访问Ingress时，我收到以下警告：

无法获取外部指标default / loadbalancing.googleapis.com | https | request_count /＆LabelSelector {MatchLabels：map [string] string {resource.labels.forwarding_rule_name：k8s-fws-default-serviceb--3a908157de956ba7，}，MatchExpressions ：[]，}：没有从外部指标API返回的指标

转发规则的 metricSelector 是正确的，在描述入口时已确认（仅显示相关信息）：

$ kubectl describe ingress serviceb
Annotations:
  ingress.kubernetes.io/https-forwarding-rule:  k8s-fws-default-serviceb--3a908157de956ba7

我尝试使用其他度量标准选择器，例如，使用 url_map_name ，但无济于事，我遇到了类似的错误。

我遵循了Google文档中的确切准则，并查看了一些完全相同的流程的在线教程，但我无法理解我所缺少的内容。我可能缺少一些配置或某些特定的细节，但是我找不到它在任何地方记录。

我缺少什么，这解释了为什么我无法获得 loadbalancing.googleapis.com | https | request_count 指标吗？

Answer 1

External Metrics API中似乎没有您要定义的指标。要了解发生了什么，您可以直接检查External Metrics API：

kubectl get --raw="/apis/external.metrics.k8s.io/v1beta1" | jq

输出中报告了 loadbalancing.googleapis.com | https | request_count 指标吗？

然后您可以通过发出请求of the following form来进行更深入的研究：

kubectl get --raw="/apis/external.metrics.k8s.io/v1beta1/namespaces/<namespace_name>/<metric_name>?labelSelector=<selector>" | jq

并查看给定指标名称和特定指标选择器后返回的内容。

这些恰好是Horizontal Pod Autoscaler在运行时也发出的请求。通过手动复制它们，您应该能够找到问题的根源。

有关其他信息的评论：

1） 83m是Kubernetes编写0.083（读作83个“毫单位”）的方式。

2）。在HorizontalPodAutoscaler定义中，您使用了targetAverageValue。因此，如果使用此度量标准存在多个目标，则HPA会计算它们的平均值。因此，83m可能是多个目标的平均值。要确保仅使用单个目标的指标，可以使用targetValue字段（请参见API reference）。

3）不知道为什么API响应中的items: []数组为空。文档中提到采样后，数据在210秒内不可见...您可以尝试在HPA未运行时发出API请求。

Answer 2

非常感谢您的详细回复。

在使用metricSelector选择特定的 forwarding_rule_name 时，我们需要使用由入口定义的确切的 forwarding_rule_name ：

metricSelector:
    matchLabels:
    resource.labels.forwarding_rule_name: k8s-fws-default-serviceb--3a908157de956ba7

$ kubectl describe ingress

Name: serviceb
...

Annotations:
  ingress.kubernetes.io/https-forwarding-rule:  k8s-fws-default-serviceb--9bfb478c0886702d
  ...
  kubernetes.io/ingress.allow-http:             false
  kubernetes.io/ingress.global-static-ip-name:  static-ip

问题在于， forwarding_rule_name （3a908157de956ba7）的后缀会随每个部署而变化，并且会在创建Ingress时动态创建：

k8s-fws-default-serviceb- 3a908157de956ba7

我们使用Helm进行了完全自动化的部署，因此，在创建HPA时，我们不知道 forwarding_rule_name 是什么。

而且， matchLabels 似乎不接受正则表达式，否则我们将简单地执行以下操作：

metricSelector:
    matchLabels:
    resource.labels.forwarding_rule_name: k8s-fws-default-serviceb--*

我尝试了几种方法，但都没有成功：

使用注释强制 forwarding_rule_name
使用其他machLabel，作为 backend_target_name
使用命令获取 forwarding_rule_name ，以便稍后将其插入yaml文件中。

使用注释强制 forwarding_rule_name ：

在创建入口时，我可以使用特定的注释来更改默认行为，或定义特定的值，例如在Ingress.yaml上：

  annotations:
    kubernetes.io/ingress.global-static-ip-name: static-ip

我试图使用https-forwarding-rule注释来强制使用特定的“静态”名称，但这不起作用：

  annotations:
    ingress.kubernetes.io/https-forwarding-rule: some_name


  annotations:
    kubernetes.io/https-forwarding-rule: some_name

使用其他machLabel，作为 backend_target_name

metricSelector:
        matchLabels:
          resource.labels.backend_target_name: serviceb

也失败了。

使用命令获取 forwarding_rule_name

当执行以下命令时，我会获得转发规则列表，但适用于所有集群。根据{{3}}，无法按群集进行过滤：

gcloud compute forwarding-rules list

NAME                                        P_ADDRESS   IP_PROTOCOL  TARGET
k8s-fws-default-serviceb--4e1c268b39df8462  xx          TCP          k8s-tps-default-serviceb--4e1c268b39df8462
k8s-fws-default-serviceb--9bfb478c0886702d  xx          TCP          k8s-tps-default-serviceb--9bfb478c0886702d

有什么方法可以让我选择所需的资源，以获取“请求数”指标？

Answer 3

我的代码似乎一切正常，但是在 request_count 指标可用之前，存在时间延迟（大约10m）。经过这段时间后，指标便已计算并可用：

WindowsLoginMiddleware

现在，关于 loadbalancing.googleapis.com | https | request_count 指标，我不了解其显示方式。 83m 是什么意思？

根据Load balancing metrics的Google文档：

https / request_bytes_count请求字节

DELTA，INT64，按

GA

HTTP / S负载平衡器服务的请求数。每60个样本   秒。采样后，最长210秒看不到数据。

根据Metric Details：

在DELTA度量标准中，每个数据点代表值的变化在该时间间隔内。例如，服务请求数因为前一次测量收到的数据将是增量指标。

我已经对该服务提出了一个请求，因此我期望的值为 1 ，而我不明白 83m 的含义。

另一种可能性，可能是我没有使用正确的指标。我选择了 loadbalancing.googleapis.com | https | request_count 指标，假设它可以通过负载均衡器提供服务执行的请求数量。

loadbalancing.googleapis.com | https | request_count 指标不正是此信息吗？

关于上述注释，在执行时：

$ kubectl get hpa ServiceB
NAME                REFERENCE    TARGETS                MINPODS   MAXPODS   REPLICAS   AGE
ServiceB   Deployment/ServiceB   83m/100 (avg), 1%/80%  1         3         1          18m

我得到了正确的数据：

... { “ metricName”：“ pubsub.googleapis.com | subscription | num_undelivered_messages”， “ metricLabels”：{ “ resource.labels.project_id”：“项目ID”， “ resource.labels.subscription_id”：“ subscription_id”， “ resource.type”：“ pubsub_subscription” }， “ timestamp”：“ 2019-10-22T15：39：58Z”， “值”：“ 4” } ...

但是，执行时：

kubectl get --raw="/apis/external.metrics.k8s.io/v1beta1/namespaces/default/pubsub.googleapis.com|subscription|num_undelivered_messages" | jq

我什么也没回来：

{“ kind”：“ ExternalMetricValueList”，“ apiVersion”： “ external.metrics.k8s.io/v1beta1”，“元数据”：{ “ selfLink”：>“ / apis / external.metrics.k8s.io / v1beta1 / namespaces / default / loadbalancing.googleapis.com％7Chttps％7Crequest_count” }，“项目”：[]}

Kubernets Autoscaler-无法获得loadbalancing.googleapis.com | https | request_count

3 个答案: