Apache Spark reductionByWindow函数在哪里执行？

Question

我尝试学习apache spark，我无法从documentation了解窗口操作是如何工作的。

我有两个工作节点，我使用Kafka Spark Utils从主题创建DStream。

在这个DStream上，我应用map函数和reductionByWindow。

我无法理解是否在每个工作人员或驱动程序中执行了reductionByWindow。

我在google上搜索过没有任何结果。

有人可以解释一下吗？

Answer 1

接收和处理数据都发生在工作节点上。驱动程序创建负责数据收集的接收器（在工作节点上），并定期启动作业以处理收集的数据。其他一切都是标准的RDD和普通的Spark工作。