如何使用Scrapy下载网站的移动版本

Question

我试图了解如何使用Scrapy（例如Google）下载网站的移动版本。

我不知道如何模拟这些请求，因为我的手机中没有调试器。如何使用Scrapy做到这一点，或者如何使用桌面调试移动请求

Answer 1

您可以完全使用桌面来模拟移动行为。使用Chrome的开发者工具，然后点击Toogle device toolbar按钮：

这样，您可以检查哪些请求正在用于移动版本。

通常，现在是由User-Agent标头指定的，因此只是移动标头，例如可以在设置中更改USER_AGENT：

USER_AGENT = 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'