设置hadoop用户通过oozie shell动作启动spark-submit

Question

我想在通过shell操作启动oozie工作流时为hadoop用户设置spark-submit操作：oozie MR（启动shell）应该以用户A启动，但spark-submit（从shell脚本启动）应该启动为用户B。

我尝试使用'export HADOOP_USER_NAME = B'（在shell脚本中）设置user.name = A（在job.properties中），但除非A = B，否则它不起作用。

有人可以帮忙吗？

P.S。我正在使用oozie 4.0.0和CDH 5.3.1以及火花1.2.0。

Answer 1

我很惊讶在shell脚本中无法导出HADOOP_USER_NAME，但是您可以尝试添加一个

<shell ...>
  ...
  <env-var>HADOOP_USER_NAME=B</env-var>
  ...
</shell>

到xml中的shell操作。