用户“ livy”无法在EMR中创建本地目录

Question

我正在通过 apache livy 从 AWS Step Function 将 pyspark 作业提交到 EMR 集群中。 pyspark作业已触发 Unix shell 命令。

在 test.py ，

内

subprocess.call(' echo $USER', shell=True, stdout=None, stderr=None)
subprocess.call(' mkdir /mnt/data', shell=True, stdout=None, stderr=None)

日志文件具有以下输出：

livy
mkdir: cannot create directory ‘/mnt/data’: Permission denied

即使使用sudo，用户“ livy”也无法创建目录。 我需要此脚本来创建目录，该怎么办？

Answer 1

“ livy”用户无权在EMR中创建目录。

但是要创建目录，我们可以使用引导脚本。否则，我们可以在创建EMR集群时使用“步骤”。

通过引导程序创建目录时，需要sudo用户权限。