如何计算级联

Question

使用级联，我正在过滤一些元组并在S3文件中输出这些元组。

我还想计算输出总元组的数量。一种简单的方法是下载输出S3文件并计算行数。

还有其他方法可以将输出元组的数量转储到另一个文件吗？

Answer 1

这可以使用flowprocess来完成。

我们可以编写自定义函数。

LogSourceSecurityGroup

使用：

groupByPipe = new每个（groupByPipe，新计数器（COUNTER_GROUP_NAME，counterName））;