如何使用气流为多节点AWS Batch作业设置环境变量?

时间:2020-02-21 11:25:36

标签: airflow aws-batch

从Airflow启动AWS Batch作业并设置变量的记录方法是AWSBatchOperator:

batch_job = AWSBatchOperator(
    task_id='batch_job',
    job_name='batch_job',
    job_definition='arn:aws:batch:blablabla',
    job_queue='arn:aws:batch:blablabla',
    overrides={
        'environment': [
            {'name': 'VAR', 'value': 'VALUE'},
        ]
    },
)

这对于标准作业非常有效。但是对于多节点作业,必须在节点组级别上设置环境变量,而我找不到使用AWSBatchOperator实现此目标的方法。有任何已知的解决方法吗?

0 个答案:

没有答案