在Oozie中使用awscli命令为s3存储桶执行Shell操作

时间:2016-12-16 08:06:29

标签: shell amazon-web-services amazon-s3 oozie hortonworks-data-platform

我有一个shell脚本,可以执行多个s3文件列表和移动操作以及一些基本的shell命令。该脚本在命令行中运行良好,但在使用 oozie shell操作执行时会被杀死!

我尝试使用简单的aws s3 ls命令作为 oozie shell动作,它也会被杀死。

因此,想知道是否可以在shell动作中执行此类s3操作。

以下是日志中的内容:

  

============================================================‌​===== >>> Invoking Shell command line now >> Exit code of the Shell command 1 <<< Invocation of Shell command completed <<< <<< Invocation of Main class completed <<< Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully –

注意:awscli安装在所有节点中,并且yarn用户拥有存储桶的访问权限。该脚本在命令行的所有节点中都能正常工作。

0 个答案:

没有答案