只是一个简单的问题。我面临着使用太多记忆的scrapy问题。文档显示了 HtmlResponse 对象的示例,其持续时间与 Request 对象一样长,并使用此参数得出 HtmlResponse 对象导致内存的结论泄漏。我的问题是,请求对象呢?他们不应该持续这么久吗?
以下是我的prefs()输出:
Spider 1 oldest: 353s ago
Request 46544 oldest: 338s ago
HtmlResponse 9 oldest: 3s ago