Question

我正在尝试通过Python在Spark上运行bash命令。

我当前的简单代码如下：

import subprocess

print("Test start")
subprocess.Popen("conda install numpy=1.15.2 -n python35env--yes", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE).wait()
print("Test end")

上面的代码已成功执行，我确实看到了打印语句“ Test start”和“ Test end”，但是numpy软件包没有安装在python35env环境中。

我是否缺少在Spark worker节点中运行conda install bash命令的任何重要信息？甚至在驱动程序节点上？

Answer 1

您可以尝试从可执行目录运行它。默认情况下，子进程从系统运行它。

subprocess.Popen("conda install numpy=1.15.2 -n python35env--yes", shell=True, stdout=subprocess.PIPE,
                     stderr=subprocess.PIPE, cwd = 'your conda excutable path')

如何通过pyspark运行bash命令？

1 个答案: