spark-submit:流程永不消逝

时间:2015-10-16 21:29:39

标签: python-2.7 hadoop mapreduce apache-spark pyspark

我正在对一些数据运行PySpark分析。这是我第一次使用Spark进行数据分析,因此PySpark的工作流程有很多细节让我感到困惑。

与此问题相关的一个问题是:我的

生成的过程
nohup spark-submit test.py 1>output &
即使在收集到所有结果之后,也永远不会死亡。以下命令

ps aux | grep python

在作业完成后包含此过程

myusername 7216 0.1 0.0 626924 53364 pts/1  Sl 17:14 0:01 python /path/to/test.py

因此,我需要手动

kill -15 7216

世界得救了。我可以拯救世界而不杀死任何东西吗?

或者它只是一个僵尸进程,我必须在之后杀死它?

0 个答案:

没有答案