请求元如何在python中工作

Question

在scrapy中，如果我使用大元数据提出请求。 例如。 Request(url=url, meta=some_meta) 让我们说some_meta是一些大字典。那么，它如何影响请求/响应时间，如果它被映射到内存以供参考，而不是将其发送到url端点，它是如何完成的？我是scbie的新手，我搜索了这个信息，但找不到任何信息。

Answer 1

元选项用于基于每个请求将配置设置传递给scrapy组件，但不一定直接映射到http请求。

默认扩展程序接受的元参数列表：http://doc.scrapy.org/en/1.0/topics/request-response.html#topics-request-meta

例如，如果您传递meta={'dont_retry': True}，则如果请求失败，则不会重试该请求。不同的选项对请求/响应时间有不同的影响。不重试当然会使错误的网址更快地放弃响应。