从AirFlow触发大型机作业

时间:2019-08-16 12:49:06

标签: airflow scheduler mainframe

我可以知道AirFlow是否支持大型机作业吗?我们可以使用AirFlow安排大型机作业吗?

谢谢。

2 个答案:

答案 0 :(得分:2)

我不特别了解气流,但是我们已经使用Ansible,Jenkins和IBM Urban Code Deploy进行编排,其中包括分布式和大型机处理部分。

您可以SSH进入z / OS,并使用Bash,Python,cURL,Node.js或Groovy。您可以通过REST API提交JCL。 Db2有一个命令行处理器,可以通过bash终端执行SQL和存储过程。新的Zowe CLI可以为z / OS带来现代化的命令行界面。

我会问一个问题-您想要安排什么时间?它是用什么语言写的,或者您想用什么语言写?如果今天有事情存在,今天的流程和时间表如何?

虽然我没有使用过气流,但是您可以使用现代界面在z / OS上执行操作,而这通常是与编排工具集成的实际需要。

答案 1 :(得分:0)

详细介绍Patrick Bossman的精彩摘要,Apache Airflow绝对支持SSH连接以运行命令和/或传输文件:

https://airflow.apache.org/howto/connection/ssh.html

z / OS将OpenSSH作为标准的IBM支持的功能包含在基本操作系统中,无需额外付费,尽管它可能未在您的特定z / OS安装中运行。 Dovetailed Technologies已发布了有用的“快速安装指南”,该指南解释了如何在z / OS上配置和启动OpenSSH(如果尚未配置的话):

http://dovetail.com/docs/pt-quick-inst/pt-quick-inst-doc.pdf

如果需要更多信息,它们的参考指向IBM的官方z / OS文档。

您可能决定通过Apache Airflow与z / OS建立其他连接,但是SSH当然是可用的选项。

仅供参考,似乎可以直接在z / OS 2.4本身上运行Apache Airflow。我没有亲自尝试过,但是看起来不错。这样做的方法如下:

  1. 配置并启动z/OS Container Extensions ("zCX")(一种受IBM支持的标准),在z / OS 2.4中没有与IBM z14和更高型号的IBM Z机器兼容的额外收费功能。

  2. 在zCX上安装并运行Python容器(Docker / OCI格式),例如Python container from DockerHub。您将需要一个包含“ s390x”体系结构支持的Python容器映像,该映像本身或在多体系结构容器中均如此。 (DockerHub的映像没有问题。)

  3. 按照常规使用pip将Apache Airflow安装在Python容器中。

  4. 配置从Airflow到z / OS其余部分的SSH(可能还有其他)连接,如上所述。

您还可以在Z / LinuxONE上的Linux上运行Apache Airflow,既可以在运行z / OS的同一台IBM Z机器上,也可以在另一台机器上。您可以使用免费的{长达3天的IBM LinuxONE Community Cloud测试Apache Airflow,甚至可以在LinuxONE Community Cloud上创建自己的自定义Docker / OCI容器,以部署到zCX。

甚至在没有zCX的情况下,甚至可以在适用于z / OS的Python上运行Airflow,尽管如果这样做的话,还会涉及更多工作。可以从Rocket Software获得适用于z / OS的Python:

https://www.rocketsoftware.com/product-categories/mainframe/python-for-zos