Flume代理不会停止重试不可恢复的solr错误

Question

我正在使用Morphline Solr Sink在Solr中存储信息。我面临的问题是，水槽代理永远不会停止重试失败的请求，这些请求有时会随着时间的推移而增加。这导致使用MaxIO Workers的水槽警告，系统会遇到性能问题。除了编写我自己的接收器之外，还有什么方法可以使水槽停止重试或以指数方式退回以获得更好的系统性能？我的来源是avroSource。

感谢。

Answer 1

您应该确定请求失败的原因。

Flume正在按照它的设计行事。它在交易中试图将一批事件存储在您的商店中。如果它不能存储那些事件那么，是的，它继续尝试。

您还没有解释导致这些故障的问题。我建议考虑一个拦截器来修复数据中的任何错误或丢弃你不想存储的事件。