Mongo Spark连接器写入问题

Question

我们观察到写入持续时间的显着增加，最终导致超时。 我们正在使用基于副本集的MongoDB集群。

这只发生在一周的高峰日期，因为音量很大。 我们尝试过部署其他节点，但它没有帮助。

附加屏幕截图。 我们在databricks Apache Spark 2.2.1

上使用Mongo-connector 2.2.1

任何优化写入速度的建议都将得到真正的体现。

Answer 1

那里有多少工人？请检查DAG，该作业的执行者指标。如果所有写入均来自单个执行器，请尝试根据否对数据集重新分区。执行者。

  $sub = Subscription::whereDay('startdate',Carbon::today())->get();