Question

我想清除Kubernetes命名空间中所有pod中的缓存。我想向端点发送一个请求，然后该端点将向命名空间中的所有pod发送HTTP调用以清除缓存。目前，我只能使用Kubernetes命中一个pod，而我无法控制哪个pod会受到攻击。

即使负载均衡器设置为RR，连续点击pod（n次，其中n是pod的总数）也无济于事，因为其他一些请求可能会进入。

这里讨论了同样的问题，但我找不到实施的解决方案： https://github.com/kubernetes/kubernetes/issues/18755

我正在尝试使用Hazelcast实现清除缓存部分，其中我将存储所有缓存，Hazelcast会自动处理缓存更新。

如果有针对此问题的替代方法，或者配置kubernetes以针对某些特定请求点击所有端点，则在此处共享将是一个很大的帮助。

Answer 1

如果你的pod中有kubectl并且可以访问api-server，你可以获得所有端点地址并将它们传递给curl：

kubectl get endpoints <servicename> \
        -o jsonpath="{.subsets[*].addresses[*].ip}" | xargs curl

在pod中没有kubectl的替代方案：

从pod访问api服务器的推荐方法是使用kubectl代理：https://kubernetes.io/docs/tasks/access-application-cluster/access-cluster/#accessing-the-api-from-a-pod这当然会增加至少相同的开销。或者你可以直接调用REST api，你必须手动提供令牌。

APISERVER=$(kubectl config view --minify | grep server | cut -f 2- -d ":" | tr -d " ")
TOKEN=$(kubectl describe secret $(kubectl get secrets \
     | grep ^default | cut -f1 -d ' ') | grep -E '^token' | cut -f2 -d':' | tr -d " ")

如果您提供APISERVER和TOKEN变量，则不需要在您的pod中使用kubectl，这样您只需要curl来访问api服务器和＆＃34; jq＆＃34;解析json输出：

curl $APISERVER/api/v1/namespaces/default/endpoints --silent \
     --header "Authorization: Bearer $TOKEN" --insecure \
     | jq -rM ".items[].subsets[].addresses[].ip" | xargs curl

更新（最终版本）

APISERVER通常可以设置为kubernetes.default.svc，并且该标记应该位于pod中的/var/run/secrets/kubernetes.io/serviceaccount/token，因此无需手动提供任何内容：

TOKEN=$(cat /var/run/secrets/kubernetes.io/serviceaccount/token); \
curl https://kubernetes.default.svc/api/v1/namespaces/default/endpoints --silent \
     --header "Authorization: Bearer $TOKEN" --insecure \
     | jq -rM ".items[].subsets[].addresses[].ip" | xargs curl

jq在这里可用：https://stedolan.github.io/jq/download/（＆lt; 4 MiB，但值得轻松解析JSON）

Answer 2

我也有类似的情况。解决方法如下（我使用的是“默认”以外的名称空间）。

设置对群集Using RBAC Authorization的访问权限

通过创建 ServiceAccount ，将其分配给 Pod 并将其绑定 Role 来完成对API的访问。

1。创建一个 ServiceAccount

apiVersion: v1
kind: ServiceAccount
metadata:
  name: my-serviceaccount
  namespace: my-namespace

2。创建一个角色：在此部分中，您需要提供资源列表和您想要访问的操作列表。这是您想要列出端点并获取特定端点详细信息的示例。

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: my-role
  namespace: my-namespace
rules:
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list"]

3。将角色绑定到服务帐户

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: my-role-binding
  namespace: my-namespace
subjects:
- kind: ServiceAccount
  name: my-serviceaccount
roleRef:
  kind: Role
  name: my-role
  apiGroup: rbac.authorization.k8s.io

4。将服务帐户分配给部署中的Pod（应位于template.spec下）

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-deployment
  namespace: my-namespace
spec:
  replicas: 1
  selector:
    matchLabels:
          app: my-pod
  template:
    metadata:
      labels:
        app: my-pod
    spec:
      serviceAccountName: my-serviceaccount
      containers:
      - name: my-pod
        ...

Access Clusters Using the Kubernetes API

已设置所有安全方面，您将具有足够的权限来访问Pod中的API。与API服务器进行通信所需的所有信息均已安装在Pod中的/var/run/secrets/kubernetes.io/serviceaccount下。您可以使用以下shell脚本（可能将其添加到Docker映像的COMMAND或ENTRYPOINT中）。

#!/bin/bash
# Point to the internal API server hostname
API_SERVER=https://kubernetes.default.svc

# Path to ServiceAccount token
SERVICE_ACCOUNT=/var/run/secrets/kubernetes.io/serviceaccount

# Read this Pod's namespace
NAMESPACE=$(cat ${SERVICE_ACCOUNT}/namespace)

# Read the ServiceAccount bearer token
TOKEN=$(cat ${SERVICE_ACCOUNT}/token)

# Reference the internal certificate authority (CA)
CA_CERT=${SERVICE_ACCOUNT}/ca.crt

从现在开始，这只是简单的REST API调用。您可以选择任何一种语言来阅读这些环境变量，并访问API。

这里是列出用例端点的示例

# List all the endpoints in the namespace that Pod is running
curl --cacert ${CA_CERT} --header "Authorization: Bearer ${TOKEN}" -X GET \
  "${API_SERVER}/api/v1/namespaces/${NAMESPACE}/endpoints"

# List all the endpoints in the namespace that Pod is running for a deployment
curl --cacert ${CA_CERT} --header "Authorization: Bearer ${TOKEN}" -X GET \
  "${API_SERVER}/api/v1/namespaces/${NAMESPACE}/endpoints/my-deployment"

有关可用API端点以及如何调用它们的更多信息，请参阅API Reference。

Answer 3

对于那些尝试寻找替代方法的人，我使用了hazelcast作为分布式事件监听器。在github上添加了类似的POC：https://github.com/vinrar/HazelcastAsEventListener

Answer 4

我需要访问所有 pod 以便我可以更改类的日志级别，所以我从其中一个 pod 内部进行了操作：

// Change level to DEBUG
host <service-name>| awk '{print $4}' | while read line; do
curl --location --request POST "http://$line:9111/actuator/loggers/com.foo.MyClassName" \
--header 'Content-Type: application/json' \
--data-raw '{"configuredLevel": "DEBUG"}' 
done
// Query level on all pods
host <service-name>| awk '{print $4}' | while read line; do    
curl --location --request GET "http://$line:9111/actuator/loggers/com.foo.MyClassName"
echo
done

您需要 host 和 curl 才能执行它。

不确定这是否是好的做法。

Answer 5

我通过使用this script解决了这个问题。您只需要编写等效命令即可进行API调用。我用curl来做到这一点。

以下是脚本的用法：

function usage {
    echo "usage: $PROGNAME [-n NAMESPACE] [-m MAX-PODS] -s SERVICE -- COMMAND"
    echo "  -s SERVICE   K8s service, i.e. a pod selector (required)"
    echo "     COMMAND   Command to execute on the pods"
    echo "  -n NAMESPACE K8s namespace (optional)"
    echo "  -m MAX-PODS  Max number of pods to run on (optional; default=all)"
    echo "  -q           Quiet mode"
    echo "  -d           Dry run (don't actually exec)"
}

例如，要在名称为curl http://google.com和名称空间为s1的服务的所有Pod上运行命令n1，则需要执行./kcdo -s s1 -n n1 -- curl http://google.com。

Kubenetes：是否可以在Kubernetes集群中使用单个请求命中多个pod

5 个答案:

设置对群集Using RBAC Authorization的访问权限

Access Clusters Using the Kubernetes API