如何重用火花流的结果?

时间:2017-10-20 19:46:52

标签: apache-spark spark-streaming

我们如何使用地图内的值,似乎没有填充值。

  val goalScore = rawScore.transform(rdd=>{
        val minMax = rdd.flatMap(x=>{
          x.behaviorProfileType match {
            case Some("mapper") => Some((x.sourceType, x.targetType, "mapper"), x)          
            case Some("non-mappe") => Some((x.sourceType, x.targetType, "non-mapper"), x)
            case _ => None     
          }
        })
        .reduceByKey(reduceMinMax(_, _))
        .collectAsMap()

        rdd.map(x => (populateMinMaxWindowGoalScore(x, minMax)))
      })

为什么在populateMinMaxWindowGoalScore函数中minMax总是空的? rawScore是一个DStream。

0 个答案:

没有答案