MapElements.via(SerializableFunction)是否删除集合元素?

时间:2019-06-04 09:28:38

标签: java-8 apache-beam spring-cloud-dataflow

我有一个非常简单的Apache梁管道,该管道通过在Java 8闭包中调用作为参数传递给MapElements.via()的静态函数,将转换方法应用于PCollection的每个元素。

我刚刚注意到,在过去的几个月中,MapElements步骤删除了约2000个元素(在33,000,000个元素的PCollection上),因为Cloud Dataflow UI中输入和输出之间的元素数量之差为〜输出短缺2000。

这可能是什么情况?

静态函数中的代码可以引发未经检查的异常。我想知道MapElements是否吞下它们甚至不记录它们吗?我无法想到MapElements可能会删除元素的任何其他原因,因为它被定义为“ 1对1”转换PTransform。

这是在Apache Beam 2.5.0上。

0 个答案:

没有答案