僵尸齐柏林飞艇火花过程的来源是什么?

时间:2018-08-30 20:32:34

标签: python apache-spark pyspark apache-zeppelin zombie-process

当有多个人使用Zeppelin(0.7.3)笔记本在群集上创建东西原型时,驱动程序上可能会出现很多zombie processes

下面是一个示例:

[username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin
...
username  15163  0.0  0.0 783244 112076 ?       Sl   Aug29   0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-294731840633169153.py 46864 10603
username  16364  0.0  2.3 4637180 2859000 ?     Sl   Aug29   1:30 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-4967700381049549623.py 34141 10603
username  17328  0.0  0.0 572336 68892 ?        Sl   Aug29   0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5558242373873465119.py 43031 10603
username  23360  0.3  0.2 1029820 347676 ?      Sl   17:37   0:35 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5094022153210101706.py 35280 10603
username  26414  0.0  0.0 571972 68624 ?        Sl   Aug29   0:14 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-1324142653437864728.py 46682 10603
username  28850  0.0  0.0 572332 68804 ?        Sl   19:23   0:01 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-6914433048347435534.py 34529 10603
...

您可以看到它们随着时间的推移逐渐积累。他们中的大多数人只花了一两分钟的CPU时间,但是他们并没有消失。随着时间的流逝,我看到它们消耗了10%或更多的可用内存。

这些来自何处?是什么无法清除这些?除了消除谋杀性工作之外,我还有什么办法可以消除它们?

1 个答案:

答案 0 :(得分:2)

您可以尝试TimeoutLifecycleManager,如果该解释器在配置的阈值内处于空闲状态,则会终止该解释器