使用Oozie安排Python脚本

时间:2018-08-16 21:00:53

标签: oozie

需要一些指导。

我面临的挑战是需要将python脚本以及python脚本生成的所有文件夹/子文件夹和文件放在hdfs中,而不是本机linux文件系统中。

我不希望在oozie调度中使用SSH Action扩展(http://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SshActionExtension.html),我想知道将所有内容放入hdfs的方法是否有效。基本上,我需要知道如果所有内容(包括输出)都存储在hdfs中并使用oozie调用,以下任务是否可以发布挑战:

  1. 允许python脚本调用第三方python模块
  2. 允许python脚本创建文件夹和子文件夹
  3. 要允许python脚本编写者并将数据行附加到平面文件(.txt)

使用oozie调度生成本地文件系统输出的python脚本的最佳方法是什么?是通过将python脚本存储在edgenode中并使用SSH Action重定向Oozie在edgenode中查找该脚本来实现的?

0 个答案:

没有答案