由于背压导致检查点超时

Question

我们有一项长期的工作，可以将记录存储到Elasticsearch中。由于ES群集在午夜进行路由，因此接收器有时会失败。我们处理这些失败，然后将那些失败的插入操作重新添加到队列中，并继续插入它们。但是，我们发现源的背压越来越高，检查点操作最终超时。工作将被卡住，不再前进。

有解决这个问题的主意吗？非常感谢你！

Answer 1

我的建议是不要先输出到ES，以确定在写入ES时是否发生背压。 建议参考这篇文章：https://blog.csdn.net/dtzly/article/details/101006064