在spark streaming应用程序中，mapWithState在哪里执行？

Question

在火花流应用程序中，mapWithState在哪里执行？ 它是在驱动程序还是执行程序上？

Answer 1

在每个执行程序上执行

mapWithState。它是一个shuffle阶段，它将键映射到执行程序，然后每个执行程序执行提供给StateSpec.function的有状态函数。