我有一个非常简单的Apache梁管道,该管道通过在Java 8闭包中调用作为参数传递给MapElements.via()的静态函数,将转换方法应用于PCollection的每个元素。
我刚刚注意到,在过去的几个月中,MapElements步骤删除了约2000个元素(在33,000,000个元素的PCollection上),因为Cloud Dataflow UI中输入和输出之间的元素数量之差为〜输出短缺2000。
这可能是什么情况?
静态函数中的代码可以引发未经检查的异常。我想知道MapElements是否吞下它们甚至不记录它们吗?我无法想到MapElements可能会删除元素的任何其他原因,因为它被定义为“ 1对1”转换PTransform。
这是在Apache Beam 2.5.0上。