我刚刚阅读了文档:official link。在本部分的最后,建议使用foreachPartition
连接池以实现最佳效率。我在火花源代码中找不到类ConnectionPool
。这只是一个假设的例子吗?有没有实际的例子? THX
答案 0 :(得分:0)
它不是Spark类。如文档中所述:
可以维护一个静态的连接对象池,而不是可以重复使用,因为多个批次的RDD被推送到外部系统,从而进一步减少了开销。
它应该是您的特定类,它将保存您希望在池中建立的连接 - 即JDBC Connections。 Here是一个示例实现