Question

尝试向我们的Google Cloud Composer实例添加新的DAG时-当前有32个以上的DAG-并且在https://cloud.google.com/composer/docs/how-to/using/managing-dags中执行常规操作似乎没有任何效果-我们看不到Web服务器/ UI中的这些DAG，我看不到它们必须被加载。我确实看到它们已复制到日志中的相应存储桶，但除此之外没有其他内容。

我什至尝试设置一个虚拟环境变量来启动Composer实例的完全重新启动，但无济于事。

最后，我将一个完全剥离的DAG放在一起，然后尝试添加它。这是DAG：

from airflow import models
from airflow.contrib.operators import kubernetes_pod_operator
from airflow.operators.python_operator import BranchPythonOperator
from airflow.operators.dummy_operator import DummyOperator

dag = models.Dag(
    dag_id="test-dag",
    schedule_interval=None,
    start_date=datetime(2020, 3, 9),
    max_active_runs=1,
    catchup=False,
)

task_test = DummyOperator(dag=dag, task_id="test-task")

即使这个简单的DAG也没有被使用，所以我想知道下一步该怎么做。我仔细检查了https://github.com/apache/airflow/blob/master/airflow/config_templates/default_airflow.cfg，以查看是否有可能在DagBag加载时间限制等方面进行任何调整，但是没有任何变化。完全被困在这里。

Answer 1

您的示例也未被我的环境接受。但是，我尝试使用以下格式，并且没有问题：

from airflow import DAG
from datetime import datetime
from airflow.contrib.operators import kubernetes_pod_operator
from airflow.operators.python_operator import BranchPythonOperator
from airflow.operators.dummy_operator import DummyOperator

with DAG(
    "my-test-dag",
    schedule_interval=None,
    start_date=datetime(2020, 3, 9),
    max_active_runs=1,
    catchup=False) as dag:

        task_test = DummyOperator(dag=dag, task_id="my-test-task")

Answer 2

我们最终解决了这个问题：

dag = models.Dag(

应该是

dag = models.DAG(

用户界面中未显示Google Cloud Composer DAG

2 个答案: