我应该在scrapy中监控蜘蛛的指标

Question

为了确保一切正常，我应该监控一般蜘蛛的指标吗？

目前，我将监控

1. 返回的商品数量。例如。百分比变化应小于1％
2. 日志文件中的错误数。例如。错误编号应为零

对一般的蜘蛛来说足够了吗？

Answer 1

您的问题无法计算，因为答案完全取决于您的具体用例和抓取的目标。蜘蛛成功的标准/指标直接来自您的业务逻辑。退后一步，问问自己，我想用这只蜘蛛做些什么？当您回答这个问题时，您应监控的指标将非常清晰。