当Spark找到某个操作时,它会运行每一行代码,直到该操作或仅执行与该操作相关的转换为止。

时间:2019-06-03 16:02:28

标签: apache-spark

x: RDD[Int] = {1,2,3,4}

y: RDD[Int] = {4,5,6,7}

第1行:

x = x.map(x => x+1)

第2行:

y = y.map(y => y+1)

第3行:

x.collect().foreach(println)

将触发计算所有行或仅计算第1行和第3行。

1 个答案:

答案 0 :(得分:2)

在这种情况下,它将仅执行第1行和第3行。之所以不执行第2行,是因为您没有在RDD y上调用任何操作,而是仅在{ {1}}。