我们有一个带有1个主节点和3个从属节点的AWS EMR集群。 我们有一个共享驱动器，已将其安装在同一文件夹中的所有节点上，即/ home / user / efs / 我们在该文件夹中有一个Shell脚本，它可以完成一些工作，最后调用spark-submit。 当我们尝试通过EMR随附的HUE接口使用Oozie执行此操作时，当在从属节点上触发工作流时，失败的是说未找到'spark-submit'命令。
如何使spark-submit命令可用于所有节点？
或者如何让Oozie仅在存在spark-submit命令的主节点上触发shell脚本。
我进行了很多搜索，唯一的解决方案是我们需要在所有从节点上安装spark网关，而不是“操作”部分。
我知道我们是否可以设计oozie工作流程来直接调用spark-submit，它会起作用，但是根据我们的要求，我们必须在shell脚本中调用spark-submit。