scrapy 307重定向到同一页面

Question

我正在尝试从jabong抓取产品详细信息，并且当我抓取一个URL时脚本运行良好，但是当我在产量请求中使用多个URL时，脚本重定向到307。

我尝试了代理，用户代理，禁用cookie，启用dont_merge cookie

这就是我得到的：

2019-05-20 03:41:01 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (307) to <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.
htm> from <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.htm>

Answer 1

是的，它们对Chrome的作用相同，这很可能是因为您已禁用Cookie。

您需要花时间找出他们关心的cookie，以及使用相同的cookie值是否会损害抓取的匿名性。对于SO答案来说这太耗时了，但是应该很简单。