从Airflow启动AWS Batch作业并设置变量的记录方法是AWSBatchOperator:
batch_job = AWSBatchOperator(
task_id='batch_job',
job_name='batch_job',
job_definition='arn:aws:batch:blablabla',
job_queue='arn:aws:batch:blablabla',
overrides={
'environment': [
{'name': 'VAR', 'value': 'VALUE'},
]
},
)
这对于标准作业非常有效。但是对于多节点作业,必须在节点组级别上设置环境变量,而我找不到使用AWSBatchOperator实现此目标的方法。有任何已知的解决方法吗?