如何只获取flink中大数据集的最后一个元素？

Question

我正在使用数据集api创建一个List of string的数据集，我只需要从数据集中提取最后一个包含字符串列表的列表。是否可以只从数据集中获取最后一个元素？

Answer 1

您必须记住，您处于并行执行环境中。如果你想要一个＆＃34;最后一个条目＆＃34;，你基本上必须序列化你的计算（如mapPartition().setParallelism(1)）。

但是你应该先解释一下你的订单是什么。如果您的DataSet中有订单，则可以简单地成对reduce()您的结果。这可以并行化。