我们需要使用groupbykey来实现功能
KV< ID,<对象列表> >像
KV <1,&lt; obj1,obj2&gt;&gt;
请告诉我groupbykey是否适用于Spark runner。根据能力矩阵,它不受支持,但根据以下链接,它是受支持的。
https://issues.apache.org/jira/browse/BEAM-799
由于
答案 0 :(得分:0)
如果按功能矩阵上的“展开详细信息”,您可以看到Spark运行中支持GroupByKey并带有注释:
部分:在批处理模式下完全支持
使用Spark的
groupByKey
。在流模式下具有多个触发器触发的GroupByKey正在进行中。