使用scrapy获取链接列表的内容长度

Question

正如标题所示，我很想知道scrapy是否可用于处理url列表（url存储在mysql数据库中）。 我需要为每个URL唯一的东西是返回的数据的内容长度。 有人在做过类似的项目吗？

由于

Answer 1

在回调中产生Request method='head'。在response对象的下一个回调提取标题HTTP_CONTENT_LENGTH中。