为Spark Streaming作业创建全局数据帧

时间:2017-04-23 03:37:01

标签: scala apache-kafka spark-streaming spark-dataframe

我有一个火花流媒体工作,不断接收来自kafka的消息。流媒体工作将:

  1. 对新收到的消息进行过滤
  2. 将过滤左侧消息附加到全局数据帧。
  3. 当全局数据框收到1000行记录时,请执行求和操作。
  4. 我的问题是:

    1. 如何创建全局数据框?它只是在
    2. 循环之前创建一个数据帧
        

      directKafkaStream.foreachRDD {....}

      1. 如何有效地处理全局数据帧的操作,这一任务的第3步。我是否必须将操作嵌入foreachRDD循环?

0 个答案:

没有答案