我正在对一些数据运行PySpark分析。这是我第一次使用Spark进行数据分析,因此PySpark的工作流程有很多细节让我感到困惑。
与此问题相关的一个问题是:我的
生成的过程nohup spark-submit test.py 1>output &
即使在收集到所有结果之后,也永远不会死亡。以下命令
ps aux | grep python
在作业完成后包含此过程
myusername 7216 0.1 0.0 626924 53364 pts/1 Sl 17:14 0:01 python /path/to/test.py
因此,我需要手动
kill -15 7216
世界得救了。我可以拯救世界而不杀死任何东西吗?
或者它只是一个僵尸进程,我必须在之后杀死它?