如何在抓取时从网页地址获取移动页面地址?

时间:2017-05-17 09:01:09

标签: python url mobile request web-crawler

我已经通过python'制作了抓取工具。对于个人项目,我想从每个网页地址获取移动页面地址。

喜欢转型' www.youtube.com'到' m.youtube.com'

我只想知道移动页面地址。

是否可以在不使用' selenium'

的情况下获取移动页面地址

1 个答案:

答案 0 :(得分:0)

有两种方式可以提供移动页面。

您可以先检查网址。正如您在评论m.youtube.com中给出的示例明确表示您正在移动模式下浏览。

但您也可以检查HTTP标头User-Agent。此标头显示用于发送查询的浏览器。 服务器可以提取此信息,并根据给定的值确定浏览器是移动浏览器还是桌面浏览器。

这将是您的主要问题,所有Web服务器都不使用相同的方法来处理移动模板。很多网站都使用我解释过的两种方法,很难创建一个通用的刮刀,单独找到如何访问移动模板。

你可以做什么:

使用带有selenium的移动浏览器:https://github.com/SeleniumHQ/selenium/wiki/WebDriver-For-Mobile-Browsers

如果您想要从桌面动态切换到移动设备,请使用用户代理:Change user agent for selenium driver