使用Docker在DC / OS上运行Airflow

时间:2017-12-01 04:55:51

标签: docker airflow dcos

我已经使用他们的vagrant图像在本地设置了DC / OS,我想使用DC / OS来运行包含Airflow的Docker镜像,这样我就可以在Airflow教程中运行基本的Hello World。

这是一个相当小众的用例,并且没有任何关于此实际实施的指南或在线聊天。

简单来说,我该怎么做呢?

1 个答案:

答案 0 :(得分:2)

转到“服务”选项卡,单击“+”并添加任务的JSON定义:

{
  "id": "/airflow",
  "instances": 1,
  "container": {
    "type": "DOCKER",
    "volumes": [],
    "docker": {
      "image": "puckel/docker-airflow"
    },
    "portMappings": [
      {
        "containerPort": 8080,
        "hostPort": 0,
        "protocol": "tcp"
      },
      {
        "containerPort": 5555,
        "hostPort": 0,
        "protocol": "tcp"
      },
      {
        "containerPort": 8793,
        "hostPort": 0,
        "protocol": "tcp"
      }
    ]
  },
  "mem": 1024,
  "requirePorts": false,
  "networks": [
    {
      "mode": "container/bridge"
    }
  ],
  "healthChecks": [],
  "fetch": [],
  "constraints": [],
  "cpus": 1,
  "labels": {
    "DCOS_SERVICE_PORT_INDEX": "0"
  }
}

会激活this Docker image。服务启动后,您应该可以单击服务名称旁边的图标并导航到Airflow UI(/service/airflow)。

注意:我对Airflow没有任何经验,但这是一种如何开始任何任务的一般方法。你肯定需要配置数据库等。