标签： mongodb apache-spark mongo-scala-driver
我使用mongo-spark-connector在spark中构建了一个简单的数据导出器作业。此作业从mongo中读取集合并将其写入S3。但是，对于庞大的馆藏（2B文档），无论执行者和执行者核心的数量如何，它都会打开太多的连接。我尝试查看他们的官方文档，以查找是否存在限制连接数量的连接器配置。但是他们也没有。有什么方法可以控制我的Spark应用程序产生的连接数量？