我已经通过管理界面在Airflow(1.7)中创建了一个'S3'类型的连接,并且验证了它可以在托管Airflow本身的盒子上运行。但是,对于在单独的盒子上运行的任何工作人员,连接不起作用。
我正在通过以下过程测试连接:
# Launch the Python shell
/usr/local/bin/python2.7
# Issue the following
import airflow
s3 = airflow.hooks.S3Hook('remote_log_s3')
s3.load_string('test', airflow.conf.get('core', 'remote_base_log_folder'))
对于工人,以上将返回以下内容:
boto.exception.S3ResponseError: S3ResponseError: 403 Forbidden
在托管Airflow本身的框中,字符串将按预期加载到指定的S3位置。
我试图通过重新启动Airflow工作人员来解决问题,但这没有任何效果。我正在寻找有关可能需要采取的步骤的建议,以使工人能够利用这种联系。