Beam中的groupbykey功能

时间:2017-10-31 17:37:08

标签: apache-beam

我们需要使用groupbykey来实现功能

KV< ID,<对象列表> >像

KV <1,&lt; obj1,obj2&gt;&gt;

请告诉我groupbykey是否适用于Spark runner。根据能力矩阵,它不受支持,但根据以下链接,它是受支持的。

https://issues.apache.org/jira/browse/BEAM-799

由于

1 个答案:

答案 0 :(得分:0)

如果按功能矩阵上的“展开详细信息”,您可以看到Spark运行中支持GroupByKey并带有注释:

  

部分:在批处理模式下完全支持

     

使用Spark的groupByKey。在流模式下具有多个触发器触发的GroupByKey正在进行中。