我已经通过python'制作了抓取工具。对于个人项目,我想从每个网页地址获取移动页面地址。
喜欢转型' www.youtube.com'到' m.youtube.com'
我只想知道移动页面地址。
是否可以在不使用' selenium'
的情况下获取移动页面地址答案 0 :(得分:0)
有两种方式可以提供移动页面。
您可以先检查网址。正如您在评论m.youtube.com
中给出的示例明确表示您正在移动模式下浏览。
但您也可以检查HTTP标头User-Agent
。此标头显示用于发送查询的浏览器。
服务器可以提取此信息,并根据给定的值确定浏览器是移动浏览器还是桌面浏览器。
这将是您的主要问题,所有Web服务器都不使用相同的方法来处理移动模板。很多网站都使用我解释过的两种方法,很难创建一个通用的刮刀,单独找到如何访问移动模板。
你可以做什么:
使用带有selenium的移动浏览器:https://github.com/SeleniumHQ/selenium/wiki/WebDriver-For-Mobile-Browsers
或的
如果您想要从桌面动态切换到移动设备,请使用用户代理:Change user agent for selenium driver