标签： apache-spark hadoop spark-streaming yarn dynamic-memory-allocation
在我的一个应用程序中，我启用了火花流动态分配。通过确保是否有空闲的执行器并且如果我们在摄取方面没有太多滞后，它可以很好地工作，动态分配会杀死未使用的执行器。甚至足以确保不杀死所有执行器，而至少留下一个（用于运行接收器）就足够了。但是有时，当队列中运行的应用程序过多时，YARN会抢占分配给我的应用程序的容器，甚至杀死所有执行器，包括一个正在运行的接收器。因此，我的应用程序将进入长时间运行模式，在该模式下，只有驱动程序正在运行以等待任务，而没有任何处理。我们如何处理这种情况