Question

在使用StreamingContext的Spark 1.6中，我可以使用函数reduceByKeyAndWindow

        events
            .mapToPair(x-> new Tuple2<String,MyPojo>(x.getID(),x))
            .reduceByKeyAndWindow((a, b) -> 
                     a.getQuality() > b.getQuality() ? a : b
                , Durations.seconds(properties.getWindowLenght()), 
                  Durations.seconds(properties.getSlidingWindow()))
            .map(y->y._2);

现在我正试图用spark 2.0.2和Dataframes重现这个逻辑。我能够重现丢失的函数reduceByKey但没有窗口

        events
            .groupByKey(x-> x.getID() ,Encoders.STRING())
            .reduceGroups((a,b)-> a.getQuality()>=b.getQuality() ? a : b)
            .map(x->x._2, Encoders.bean(MyPojo.class))

我能够使用groupBy

实现窗口

        events
            .groupBy(functions.window(col("timeStamp"), "10 minutes", "5 minutes"),col("id"))
            .max("quality")
            .join(events, "id");

当我使用groupBy时，我只有15列中的两列，所以我试图让他们回来加入，但后来我得到了解雇：join between two streaming DataFrames/Datasets is not supported;

我有什么方法可以在spark 2中重现reduceByKeyAndWindow的逻辑吗？

spark2数据帧中的reduceByKeyAndWindow

0 个答案: