当有多个人使用Zeppelin(0.7.3)笔记本在群集上创建东西原型时,驱动程序上可能会出现很多zombie processes。
下面是一个示例:
[username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin
...
username 15163 0.0 0.0 783244 112076 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-294731840633169153.py 46864 10603
username 16364 0.0 2.3 4637180 2859000 ? Sl Aug29 1:30 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-4967700381049549623.py 34141 10603
username 17328 0.0 0.0 572336 68892 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5558242373873465119.py 43031 10603
username 23360 0.3 0.2 1029820 347676 ? Sl 17:37 0:35 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5094022153210101706.py 35280 10603
username 26414 0.0 0.0 571972 68624 ? Sl Aug29 0:14 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-1324142653437864728.py 46682 10603
username 28850 0.0 0.0 572332 68804 ? Sl 19:23 0:01 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-6914433048347435534.py 34529 10603
...
您可以看到它们随着时间的推移逐渐积累。他们中的大多数人只花了一两分钟的CPU时间,但是他们并没有消失。随着时间的流逝,我看到它们消耗了10%或更多的可用内存。
这些来自何处?是什么无法清除这些?除了消除谋杀性工作之外,我还有什么办法可以消除它们?