在火花中使用foreachRDD的设计模式

时间:2017-03-13 15:32:11

标签: apache-spark spark-streaming

我刚刚阅读了文档:official link。在本部分的最后,建议使用foreachPartition连接池以实现最佳效率。我在火花源代码中找不到类ConnectionPool。这只是一个假设的例子吗?有没有实际的例子? THX

1 个答案:

答案 0 :(得分:0)

它不是Spark类。如文档中所述:

  

可以维护一个静态的连接对象池,而不是可以重复使用,因为多个批次的RDD被推送到外部系统,从而进一步减少了开销。

它应该是您的特定类,它将保存您希望在池中建立的连接 - 即JDBC Connections。 Here是一个示例实现