Flink中Spark的等效RDD ForEach

时间:2016-06-27 13:29:27

标签: apache-spark spark-streaming apache-flink flink-streaming

在Apache Spark中,很多时候我们使用RDD forEach来评估或处理RDD中的每个数据......我想知道Apache Flink中的相同内容是什么?

2 个答案:

答案 0 :(得分:0)

Flink没有相应的内容。但是,您可以使用Key并将自定义函数放在那里。

只是为了澄清:

  1. RDD是一个Spark概念--Flink确实可以处理数据流。
  2. map()为每个元素调用一个函数,但不修改基础数据(因此,在Flink中使用forEach,您需要设置“具有副作用的身份函数” - 即,你的地图UDF应该为每个UDF做任何事情,并且不发送未经修改的输入记录。)

答案 1 :(得分:0)

从版本1.2开始,Flink提供的ProcessFunction或多或少类似于Spark中的forEach,因为它是为每个流元素调用的。