Question

在创建云作曲家环境时，我已指定3个节点。我尝试通过SSH连接到工作程序节点，但无法在/ home中找到气流目录。那么它到底在哪里？

Answer 1

Cloud Composer运行Airflow on GKE，因此您将无法直接在任何主机GCE实例上找到数据。相反，气流过程在Kubernetes管理的容器中运行，该容器either mount or sync data到/home/airflow目录。要找到目录，您需要在运行的容器中。

由于每个环境都将其气流数据存储在GCS存储桶中，因此您可以选择使用Cloud Console或gsutil检查文件。如果您确实想使用shell查看/home/airflow，则可以使用kubectl exec，它允许您在Kubernetes集群中的任何pod /容器上运行命令/打开shell。例如：

# Obtain the name of the Composer environment's GKE cluster
$ gcloud composer environments describe $ENV_NAME

# Fetch Kubernetes credentials for that cluster
$ gcloud container cluster get-credentials $GKE_CLUSTER_NAME

拥有Kubernetes凭据后，您可以列出正在运行的Pod和SSH：

# List running pods
$ kubectl get pods

# SSH into a pod
$ kubectl exec -it $POD_NAME bash
airflow-worker-a93j$ ls /home/airflow

/ home / airflow的位置

1 个答案: