气流-具有多个SSH挂钩以动态创建DAG

时间:2020-04-14 19:04:02

标签: airflow airflow-operator

我有一个动态dag,可以启动一个单独的EC2实例,以基于配置文件处理某些数据。假设我有带有EC2实例A的管道A和带有EC2实例B的管道B。

我希望登录到每个EC2实例,以便能够复制文件,执行代码等。我可以使用一个允许我登录的ssh_hook来进行一次dag操作。

如何将其扩展到动态dag?那么有多个ssh_hooks,并且能够为正确的管道/ EC2实例调用正确的钩子吗?

0 个答案:

没有答案