标签: python proxy web-crawler
我正在尝试检索一些谷歌搜索结果和缓存的页面。其实我现在有两个问题。我通常可以下载前十个结果,但不能让它工作到“下一个”10页。我试图使用正则表达式来查找页面中的下一个控件并从那里开始,我无法让它工作。 但我的另一个问题,更重要的是,我的IP地址被谷歌阻止,我无法再查看缓存的结果。因此,我想到的一个解决方案是使用代理来发出url请求,并在某些时间间隔内更新此代理。但我不知道如何完成这项工作。我试图在网上搜索解决方案,但我无法想出一个好的解决方案。 如果你能给我一些建议,我会很高兴。
答案 0 :(得分:1)
5th example?或者也许3rd example?