Google Composer上的Airflow网络服务器在哪里运行?

时间:2018-12-13 13:22:19

标签: google-cloud-platform airflow google-cloud-composer

我有以下豆荚:

NAME                                                        READY     STATUS      RESTARTS   AGE
airflow-database-init-job-ggk95                             0/1       Completed   0          3h
airflow-redis-0                                             1/1       Running     0          3h
airflow-scheduler-7594cd584-mlfrt                           2/2       Running     9          3h
airflow-sqlproxy-74f64b8b97-csl8h                           1/1       Running     0          3h
airflow-worker-5fcd4fffff-7w2sg                             2/2       Running     0          3h
airflow-worker-5fcd4fffff-m44bs                             2/2       Running     0          3h
airflow-worker-5fcd4fffff-mm55s                             2/2       Running     0          3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-ktwwt   0/1       Completed   0          3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-nmjvw   0/1       Error       0          3h
composer-agent-d043348f-025a-4aa1-89b4-d4a5fae91653-8zdwk   0/1       Completed   0          3h
composer-fluentd-daemon-grwsp                               1/1       Running     0          3h
composer-fluentd-daemon-rxhjc                               1/1       Running     0          3h
composer-fluentd-daemon-xxrmr                               1/1       Running     0          3h

我不知道其中哪个是网络服务器容器。 airflow-worker可能不是网络服务器,对吗?我想戳一下它以检查它是否正常工作,因为它似乎无法正常工作。

2 个答案:

答案 0 :(得分:1)

如有关Cloud Composer's architecture的文档中所述,Airflow网络服务器在由用户无法访问的Google管理的租户项目中托管的App Engine灵活环境中运行。

不幸的是,尽管存在an open Feature Request in the Public Issue Tracker,但Web服务器日志并未转发到Composer的主项目(即您的项目),所以请随时单击星号图标并对其进行注释,以使Composer工程人员也知道此功能的重要性以及您的用例。因此,如果您认为关于网络服务器本身还有其他类似的问题,建议您contact support(如果有资格这样做)或在the corresponding Public Issue Tracker中打开一个问题,以便您可以解决此问题由GCP支持小组进行调查。

如果您想进一步了解Airflow Web服务器,也可以在其documentation page中找到一些其他信息。

答案 1 :(得分:1)

关于Airflow Web服务器的日志-这些日志在Stackdriver日志中可见。

  1. 导航到GCP菜单->日志记录->日志查看器
  2. 如果您使用的是经典Stackdriver UI,请在“资源”下拉列表中选择“ Cloud Composer Environment”,然后在第二个下拉列表中选择“ airflow-webserver”,如本picture所示

  3. 如果您正在使用新的Stackdriver菜单,则将以下查询放入查询框:

query:resource.type="cloud_composer_environment"

logName="projects/<your project name>/logs/airflow-webserver"

...,您将获得airflow-webserver生成的日志。