什么＆＃34;循环数据流＆＃34;在Apache Spark意味着什么？

Question

Spark是一个DAG执行引擎。是不是循环和DAG相反的概念？很难找到这个明显矛盾的答案。

正如您在此处看到的那样：Understanding your Apache Spark Application Through Visualization，可以使用Spark UI可视化执行DAG。但是，该页面中没有一个示例显示循环数据流。在下图中，您可以看到其中一个示例。

Spark execution DAG example

这些迭代（循环数据流）是否可以在图表之外？我已在 MAPR 中读到＆＃34;每个Spark作业创建一个DAG，要在集群上执行任务阶段＆＃34;。然后，可能在DAG（作业）之间发生循环数据流。

谢谢。

Answer 1

好吧，这似乎是文档中的拼写错误。截至今天，我们可以在Spark homepage：

中找到这个

  

Apache Spark拥有先进的DAG执行引擎，支持非循环数据流和内存计算。