我正在抓取Google。
我有下面的代码,可以在google中搜索查询,然后打印出点击数显示在页面的左上方。
我想旋转代理以避免被阻止。我看到了有关如何执行此操作的不同代码,但我确实无法弄清楚它们。我将不胜感激。
PS:我知道Google理解刮板并甚至通过旋转代理来阻止它们,但这只是示例代码。我想学习这个示例,稍后再尝试其他代码。谢谢。
address = 'http://www.google.com/search?q='
newword = address + word
page = requests.get(newword)
soup = BeautifulSoup(page.content, 'html.parser')
phrase_extract = soup.find(id="resultStats")
text = phrase_extract.text
idf_num += 1