AWS环境中的Informatica BDM调度程序

Question

我们需要通过使用sqoop作业从外部RDBMS数据库中提取数据来加载Amazon S3存储桶。我提到，我已经创建了一个shell脚本，该脚本具有squeop作业来执行任务。在Amazon S3存储桶中创建对象之后，我想触发Informatica Developer工作流，该工作流将在执行业务逻辑后执行将数据从一个存储桶加载到另一个存储桶的任务。

我知道，我们可以通过外壳脚本或Informatica自己的调度程序本身来调用Informatica工作流。我之前使用过Autosys，我们将外壳程序脚本配置为作业，并在完成此外壳程序脚本的建立依赖关系后触发Informatica工作流。

我的问题是，我们是否有任何可用的开源调度程序来在AWS中配置Informatica BDM作业？

谢谢， 维杰

Answer 1

寻找apache气流。您可以使用以下链接来了解集成。它使用了Informatica的功能以及apache气流调度功能

https://network.informatica.com/community/informatica-network/products/big-data/big-data-management/blog/2018/05/30/integrating-bdm-with-apache-airflow

Answer 2

在使用INFA BDM时，Apache Airflow非常有意义，因为可以使用Shell命令来触发INDA BDM作业，可以使用如下所述的Airflow bash运算符轻松地触发该命令：

t1 = BashOperator（ task_id ='INFA_TASK'， bash_command ='。/ sh infacmd.sh wfs startWorkflow -dn MyDomain -sn MyDataIntSvs -un MyUser -pd MyPassword -a MyApplication -wf MyWorkflow'， dag = dag）