使用scrapy，在管道中执行操作，每扫描一次n项

Question

每次处理scrapy管道中固定数量的已删除项目后，我都想执行某项操作。例如，在每100个项目之后，应执行数据库提交。有没有推荐的方法用scrapy做到这一点？

Answer 1

您可以使用scrapy Pipelines。 在public ActionResult Success(string userName, string password) { ViewBag.UserName = userName; ViewBag.Password = password; return View("Success"); } ：

pipelines.py

并在class MyPipeline: count = 0 def process_item(self, item, spider) count += 1 if count == 100: count = 0 # do something ：

中激活它

settings.py