Question

我不确定我是否正确理解火花处理数据库连接如何以及如何可靠地使用大量数据库更新操作内部火花而不会搞砸火花作业。这是我一直使用的代码片段（为了便于说明）：

val driver = new MongoDriver
val hostList: List[String] = conf.getString("mongo.hosts").split(",").toList
val connection = driver.connection(hostList)
val mongodb = connection(conf.getString("mongo.db"))
val dailyInventoryCol = mongodb[BSONCollection](conf.getString("mongo.collections.dailyInventory"))

val stream: InputDStream[(String,String)] = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder, (String, String)](
  ssc, kafkaParams, fromOffsets,
  (mmd: MessageAndMetadata[String, String]) => (mmd.topic, mmd.message()));

def processRDD(rddElem: RDD[(String, String)]): Unit = {
    val df = rdd.map(line => {
        ...
    }).flatMap(x => x).toDF()

    if (!isEmptyDF(df)) {
        var mongoF: Seq[Future[dailyInventoryCol.BatchCommands.FindAndModifyCommand.FindAndModifyResult]] = Seq();

        val dfF2 = df.groupBy($"CountryCode", $"Width", $"Height", $"RequestType", $"Timestamp").agg(sum($"Frequency")).collect().map(row => {
        val countryCode = row.getString(0); val width = row.getInt(1); val height = row.getInt(2);
        val requestType = row.getInt(3); val timestamp = row.getLong(4); val frequency = row.getLong(5);
        val endTimestamp = timestamp + 24*60*60; //next day

        val updateOp = dailyInventoryCol.updateModifier(BSONDocument("$inc" -> BSONDocument("totalFrequency" -> frequency)), false, true)

        val f: Future[dailyInventoryCol.BatchCommands.FindAndModifyCommand.FindAndModifyResult] =
        dailyInventoryCol.findAndModify(BSONDocument("width" -> width, "height" -> height, "country_code" -> countryCode, "request_type" -> requestType,
         "startTs" -> timestamp, "endTs" -> endTimestamp), updateOp) 

        f
   })

   mongoF = mongoF ++ dfF2

   //split into small chunk to avoid drying out the mongodb connection
   val futureList: List[Seq[Future[dailyInventoryCol.BatchCommands.FindAndModifyCommand.FindAndModifyResult]]] = mongoF.grouped(200).toList

   //future list
   futureList.foreach(seqF => {
     Await.result(Future.sequence(seqF), 40.seconds)
   });     
}

stream.foreachRDD(processRDD(_))

基本上，我使用的是Reactive Mongo（Scala），对于每个RDD，我将其转换为数据帧，分组/提取必要的数据，然后针对mongo发出大量数据库更新查询。我想问一下：

我正在使用mesos在3台服务器上部署spark，并为mongo数据库增加一台服务器。这是处理数据库连接的正确方法吗？我担心的是，如果数据库连接/轮询在火花作业开始时打开并且在整个火花持续时间（几周，几个月......）内正确维护（尽管超时/网络错误故障转移），并且每个火花都会关闭批量完成？鉴于作业可能安排在不同的服务器上？这是否意味着每个批次，它将打开不同的数据库连接集？
执行查询时发生异常会发生什么。该批次的火花作业将失败？但下一批会继续吗？
如果有太多查询（2000-> +）在mongo-database上运行更新，并且执行时间超过配置的spark批处理持续时间（2分钟），是否会导致问题？我注意到，在我目前的设置中，在2-3天之后，所有批处理在Spark WebUI上排队为“进程”（如果我禁用mongo更新部分，那么我可以运行一周没有问题），没有能够正常退出。这基本上挂断了所有批处理作业，直到我重新启动/重新提交作业。

非常感谢。如果您能帮助我解决这个问题，我感谢您。

Answer 1

请阅读http://spark.apache.org/docs/latest/streaming-programming-guide.html中的“使用foreachRDD的设计模式”部分。这将清除您对如何使用/创建连接的疑虑。

其次，我建议将直接更新操作与Spark作业分开。更好的方法是你的火花作业，处理数据，然后将其发布到Kafka队列，然后有另一个专用的进程/作业/代码，从Kafka Queue读取数据并在Mongo DB上执行插入/更新操作。

处理火花流中的数据库连接

1 个答案: