Question

在我的Spark流媒体应用程序中，我想根据从后端（ElasticSearch）检索的字典映射值。我想定期刷新字典，以防它在后端更新。它类似于Logstash转换过滤器的定期刷新功能。我怎么能用Spark实现这个目标（例如，每隔30秒以某种方式解析RDD）？

Answer 1

我发现这样做的最好方法是重新创建RDD并保持对它的可变引用。 Spark Streaming的核心是Spark之上的调度框架。我们可以在调度程序上捎带以定期刷新RDD。为此，我们使用一个空的DStream，我们只为刷新操作安排：

def getData():RDD[Data] = ??? function to create the RDD we want to use af reference data
val dstream = ??? // our data stream

// a dstream of empty data
val refreshDstream = new  ConstantInputDStream(ssc, sparkContext.parallelize(Seq())).window(Seconds(refreshInterval),Seconds(refreshInterval))

var referenceData = getData()
referenceData.cache()
refreshDstream.foreachRDD{_ => 
    // evict the old RDD from memory and recreate it
    referenceData.unpersist(true)
    referenceData = getData()
    referenceData.cache()
}

val myBusinessData = dstream.transform(rdd => rdd.join(referenceData))
... etc ...

在过去，我还尝试过只交错cache()和unpersist()而没有结果（只刷新一次）。重新创建RDD会删除所有沿袭并提供新数据的干净加载。

Answer 2

步骤：

在开始流式传输前缓存一次
在一段时间后清除缓存（例如此处为 30 分钟）

可选：可以将通过 spark 的 Hive 表修复添加到 init。

spark.sql("msck 修复表 tableName")

import java.time.LocalDateTime

var caching_data = Data.init()

caching_data.persist()

var currTime = LocalDateTime.now()

var cacheClearTime = currTime.plusMinutes(30) // Put your time in Units

DStream.foreachRDD(rdd => if (rdd.take(1).length > 0) {
  //Clear and Cache again
  currTime = LocalDateTime.now()
  val dateDiff = cacheClearTime.isBefore(currTime)
  if (dateDiff) {
    caching_data.unpersist(true) //blocking unpersist on boolean = true
    caching_data = Data.init()
    caching_data.persist()
    currTime = LocalDateTime.now()
    cacheClearTime = currTime.plusMinutes(30)
  }
})

Spark Streaming：如何定期刷新缓存的RDD？

2 个答案: