Question

我正在尝试将气流版本升级到1.10.0。当我这样做时，我收到一个错误，抱怨它无法连接到mysql：

worker_1     | sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, 'Can\'t connect to local MySQL server through socket \'/var/run/mysqld/mysqld.sock\' (2 "No such file or directory")') (Background on this error at: http://sqlalche.me/e/e3q8)

当我尝试从系统中完全删除mysql时，我得到的是以下内容：

scheduler_1  | [2018-10-25 17:22:19,399] {{celery_executor.py:113}} ERROR - No module named 'MySQLdb'

Mysql不会出现在我们设置的任何环境变量中，也不会出现在airflow.cfg中。看来此版本的气流由于某些其他原因需要mysql。这是真的？

更新这与here引发的问题类似，但我对为什么气流根本无法调用mysql感兴趣。

我还应该指出，我们确实将sqlalchemy连接设置为postgres数据库。

AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow

当气流试图写入任务运行的结果时将错误发生（将某些内容标记为失败）。

更新

这是我使用的dockerfile，用于定义气流图像。注意没有提到mysql：

# SOURCE: https://github.com/puckel/docker-airflow

FROM python:3.6-jessie

# Never prompts the user for choices on installation/configuration of packages
ENV DEBIAN_FRONTEND noninteractive
ENV TERM linux

# Airflow
ARG AIRFLOW_VERSION=1.10.0
ARG AIRFLOW_HOME=/usr/local/airflow

# Define en_US.
ENV LANGUAGE en_US.UTF-8
ENV LANG en_US.UTF-8
ENV LC_ALL en_US.UTF-8
ENV LC_CTYPE en_US.UTF-8
ENV LC_MESSAGES en_US.UTF-8
ENV PYTHONPATH ${AIRFLOW_HOME}
ENV AIRFLOW_GPL_UNIDECODE yes

COPY ./requirements.txt .

RUN set -ex \
    && buildDeps=' \
        python3-dev \
        libkrb5-dev \
        libsasl2-dev \
        libssl-dev \
        libffi-dev \
        build-essential \
        libblas-dev \
        liblapack-dev \
        libpq-dev \
        git \
    ' \
    && apt-get update -yqq \
    && apt-get upgrade -yqq \
    && apt-get install -yqq --no-install-recommends \
        $buildDeps \
        python3-pip \
        python3-requests \
        apt-utils \
        curl \
        rsync \
        netcat \
        locales \
        vim \
    && sed -i 's/^# en_US.UTF-8 UTF-8$/en_US.UTF-8 UTF-8/g' /etc/locale.gen \
    && locale-gen \
    && update-locale LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 \
    && useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow \
    && pip install -U pip setuptools wheel \
    && pip install Cython \
    && pip install pytz \
    && pip install pyOpenSSL \
    && pip install ndg-httpsclient \
    && pip install pyasn1 \
    && pip install apache-airflow[crypto,celery,postgres,hive,jdbc]==$AIRFLOW_VERSION \
    && pip install 'celery[redis]>=4.1.1,<4.2.0' \
    && pip install -r requirements.txt \
    && apt-get purge --auto-remove -yqq $buildDeps \
    && apt-get autoremove -yqq --purge \
    && apt-get clean \
    && rm -rf \
        /var/lib/apt/lists/* \
        /tmp/* \
        /var/tmp/* \
        /usr/share/man \
        /usr/share/doc \
        /usr/share/doc-base

COPY script/entrypoint.sh /entrypoint.sh
COPY celery_healthcheck.sh ${AIRFLOW_HOME}
COPY config/airflow.cfg ${AIRFLOW_HOME}/airflow.cfg
COPY dags ${AIRFLOW_HOME}/dags
COPY operators ${AIRFLOW_HOME}/operators
COPY models ${AIRFLOW_HOME}/models
COPY constants.py ${AIRFLOW_HOME}/constants.py
COPY envconsul ${AIRFLOW_HOME}/envconsul
COPY *.hcl ${AIRFLOW_HOME}/

RUN chown -R airflow: ${AIRFLOW_HOME}

EXPOSE 8080 5555 8793

USER airflow
WORKDIR ${AIRFLOW_HOME}

Answer 1

气流需要一些数据库才能工作。

通过设置AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow，您可以告诉它使用相应的PostreSQL数据库作为元数据数据库。它将尝试使用它。

奇怪的是，它在错误消息中抱怨MySQL数据库。我的猜测是您将MySQL与先前的版本配合使用，并使用airflow initdb使用MySQL初始化了Airflow元数据数据库。然后您删除了MySQL，Airflow开始抱怨。

我将确保在AIRFLOW__CORE__SQL_ALCHEMY_CONN中指定的连接下可以访问PostgerSQL DB，然后再次运行airflow initdb。然后，Airflow应该开始使用PostgreSQL数据库作为元数据。

如果它不起作用，并且您可以忍受 丢失所有元数据 ，则完全重置可能会有所帮助：

airflow resetdb
airflow initdb

还要注意Airflow recommends to use psycopg2 for Postgres。

Answer 2

弄清楚了。原来这另一个环境变量（AIRFLOW__CELERY__RESULT_BACKEND）是用错字设置的。我已将其设置为AIRFLOW__CELERY__CELERY_RESULT_BACKEND。我不清楚为什么它在1.9中有效，并且在更新时突然开始引发此错误，但是当我修复了var后，它现在可以工作了。

Answer 3

我好像您正在使用一些默认的连接配置。
即使您设置了sql_alchemy_conn之类的变量，Airflow仍将具有在“管理”->“连接”菜单中设置的值。
这是我的全新安装后的样子：

正确的airflow initdb设置后，使用UI进行的airflow_db连接中的正确值修复了我遇到的所有“ mysql”错误。

气流需要mysql吗？

3 个答案: