在spark工作上调用thread.sleep是否有任何问题？

Question

如果我的火花作业在Spark驱动程序上调用thread.sleep，这是否有任何问题或完全没问题？

Answer 1

这取决于你所谓的地方。 如果您在驱动程序中调用它，那么它的行为与任何其他程序相同（这可能会导致执行程序超时的某些操作出现问题）。

如果你在工作人员中调用它，那么工作人员可能会因为没有给出心跳而被资源管理器杀死。

Answer 2

如果您有任何特定原因要致电fixedRate，或者您想知道它是否可能。 是的，它可以调用Thread.Sleep()，但取决于你想要这样做的场景。你可以通过这些文章找到很少的文章。ThreadSleepexample。通常，Spark中的Thread.Sleep()会增加CPU开销。