Question

我使用root帐户在我的群集上安装了Apache Airflow。我知道这是不好的做法，但它只是测试环境。我创建了一个简单的DAG：

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

dag = DAG('create_directory', description='simple create directory workflow', start_date=datetime(2017, 6, 1))

t1 = BashOperator(task_id='create_dir', bash_command='mkdir /tmp/airflow_dir_test', dag=dag)

t2 = BashOperator(task_id='create_file', bash_command='echo airflow_works > /tmp/airflow_dir_test/airflow.txt')

t2.set_upstream(t1)

问题在于，当我运行此作业时，root用户执行它。我尝试添加owner参数，但它不起作用。 Airflow说：

Broken DAG: [/opt/airflow/dags/create_directory.py] name 'user1' is not defined

我的问题是，如何使用除root之外的其他用户运行Apache Airflow DAG？

Answer 1

您可以将run_as_user参数用于impersonate unix用户执行任何任务：

t1 = BashOperator(task_id='create_dir', bash_command='mkdir /tmp/airflow_dir_test', dag=dag, run_as_user='user1')

如果要将其应用于DAG中的每个任务，您可以使用default_args：

dag = DAG('create_directory', description='simple create directory workflow', start_date=datetime(2017, 6, 1), default_args={'run_as_user': 'user1'})

t1 = BashOperator(task_id='create_dir', bash_command='mkdir /tmp/airflow_dir_test', dag=dag)

t2 = BashOperator(task_id='create_file', bash_command='echo airflow_works > /tmp/airflow_dir_test/airflow.txt')

请注意，owner参数用于其他内容，multi-tenancy。

如何以Unix用户身份运行Apache Airflow DAG

1 个答案: