df.write.jdbc是否处理JDBC池连接?

时间:2017-07-19 15:01:06

标签: scala apache-spark apache-spark-sql spark-jdbc

您知道以下行是否可以处理jdbc池连接:

df.write
  .mode("append")
  .jdbc(url, table, prop)
你知道吗?感谢

1 个答案:

答案 0 :(得分:1)

我不会认为

spark.read.jdbc请求Spark SQL创建JDBCRelation。最终会执行buildScan,然后调用导致JDBCRDD.scanTable的{​​{1}} JDBCRDD

有了这个,你会看到JdbcUtils.createConnectionFactory(options),除非driver处理连接池,否则Spark SQL不会这样做。

(只是注意到你问了另一个问题)

df.write.jdbc类似。它再次导致JDBCRelation使用相同的RDD。