Question

我正在使用spark 2.2 struct streaming将kafka msg读入oracle数据库的项目中。流入kafka的消息大约是每秒4000-6000条消息。

当使用hdfs文件系统作为接收器目的地时，它工作正常。使用foreach jdbc writer时，随着时间的推移会有很大的延迟。我认为滞后是由foreach循环引起的。

jdbc接收器类（独立类文件）：

class JDBCSink(url: String, user: String, pwd: String) extends org.apache.spark.sql.ForeachWriter[org.apache.spark.sql.Row] {
  val driver = "oracle.jdbc.driver.OracleDriver"
  var connection: java.sql.Connection = _
  var statement: java.sql.PreparedStatement = _
  val v_sql = "insert INTO sparkdb.t_cf(EntityId,clientmac,stime,flag,id) values(?,?,to_date(?,'YYYY-MM-DD HH24:MI:SS'),?,stream_seq.nextval)"

  def open(partitionId: Long, version: Long): Boolean = {
    Class.forName(driver)
    connection = java.sql.DriverManager.getConnection(url, user, pwd)
    connection.setAutoCommit(false)
    statement = connection.prepareStatement(v_sql)
    true
  }

  def process(value: org.apache.spark.sql.Row): Unit = {
    statement.setString(1, value(0).toString)
    statement.setString(2, value(1).toString)
    statement.setString(3, value(2).toString)
    statement.setString(4, value(3).toString)
    statement.executeUpdate()        
  }

  def close(errorOrNull: Throwable): Unit = {
    connection.commit()
    connection.close
  }
}

接收器部分：

val df = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "namenode:9092").option("fetch.message.max.bytes", "50000000").option("kafka.max.partition.fetch.bytes", "50000000")
  .option("subscribe", "rawdb.raw_data")
  .option("startingOffsets", "latest")
  .load()
  .select($"value".as[Array[Byte]])
  .map(avroDeserialize(_))
  .filter(some logic).select(some logic) 
  .writeStream.format("csv").option("checkpointLocation", "/user/root/chk").option("path", "/user/root/testdir").start()

如果我改变最后一行

.writeStream.format("csv")...

进入jdbc foreach接收器如下：

val url = "jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=x.x.x.x)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=fastdb)))"
val user = "user";
val pwd = "password";

val writer = new JDBCSink(url, user, pwd)
.writeStream.foreach(writer).outputMode("append").start()

滞后现象。

我猜这个问题最有可能是由foreach循环机制造成的 - 它不是批量模式处理批量中的数千行，作为oracle DBA，我已经很好地调整了oracle数据库端，主要是数据库正在等待空闲事件。通过设置connection.setAutoCommit(false)试图避免过度提交，任何建议都会非常感激。

Answer 1

虽然我没有在应用程序中花费最长时间的实际配置文件，但我认为这是因为使用ForeachWriter将有效关闭并重新打开JDBC连接在每次运行中，因为ForeachWriter的工作原理。

我建议不要使用它，而是为JDBC编写自定义Sink，您可以在其中控制连接的打开或关闭方式。

有一个开放的pull request to add a JDBC driver to Spark，你可以看一看可能的实施方法。

Answer 2

通过将结果注入另一个Kafka主题解决了问题，然后编写了从新主题中读取的另一个程序，将它们批量写入数据库。

我认为在下一个spark版本中，它们可能会提供jdbc接收器并具有一些参数设置批量大小。

主要代码如下：

写到另一个主题：

  .writeStream.format("kafka")
  .option("kafka.bootstrap.servers", "x.x.x.x:9092")
  .option("topic", "fastdbtest")
  .option("checkpointLocation", "/user/root/chk")
  .start()

阅读主题并写入数据库，我使用c3p0连接池

lines.foreachRDD(rdd => {
  if (!rdd.isEmpty) {
    rdd.foreachPartition(partitionRecords => {
      //get a connection from connection pool
      val conn = ConnManager.getManager.getConnection
      val ps = conn.prepareStatement("insert into sparkdb.t_cf(ENTITYID,CLIENTMAC,STIME,FLAG) values(?,?,?,?)")
      try {
        conn.setAutoCommit(false)
        partitionRecords.foreach(record => {
          insertIntoDB(ps, record)
        }
        )
        ps.executeBatch()
        conn.commit()
      } catch {
        case e: Exception =>{}
        // do some log
      } finally {
        ps.close()
        conn.close()
      }
    })
  }
})

Answer 3

您是否尝试过使用触发器？

我注意到，当我不使用触发器时，我的Foreach Sink会打开并关闭几次与数据库的连接。

writeStream.foreach(writer).start()

但是当我使用触发器时，Foreach仅打开和关闭一次连接，处理例如200个查询，当微批处理结束时，它关闭连接，直到收到新的微批处理为止。

writeStream.trigger(Trigger.ProcessingTime("3 seconds")).foreach(writer).start()

我的用例是从只有一个分区的Kafka主题中读取内容，因此Spark我认为正在使用一个分区。我不知道此解决方案是否适用于多个Spark分区，但是我的结论是Foreach在process方法中一次（逐行）处理所有微批处理，并且不调用open（）和close（）就像很多人认为的那样。

spark 2.2 struct streaming foreach writer jdbc sink lag

3 个答案: