是火花驱动程序还是执行程序创建数据库连接？

Question

所有Executors是否都创建数据库连接并并行下载数据？或者是负责下载数据然后在执行程序之间共享表的驱动程序？

Answer 1

DataFrameReader.jdbc的文档明确说明了这一点：

  

将根据传递给此函数的参数并行检索表的分区。不要在大型​​集群上并行创建太多分区;否则Spark可能会使您的外部数据库系统崩溃。

这也意味着执行者将拥有自己的连接。