Question

第一拳，我不得不说我对使用Python进行Web抓取非常陌生。我正在尝试使用这些代码行抓取数据

import requests
from bs4 import BeautifulSoup
baseurl ='https://name_of_the_website.com'
html_page = requests.get(baseurl).text
soup = BeautifulSoup(html_page, 'html.parser')
print(soup)

作为输出，我没有得到预期的HTML页面，但另一个HTML页面显示：内容抓取工具行为异常请使用robots.txt 您的IP受到速率限制

要检查我写的问题：

try:
page_response = requests.get(baseurl, timeout =5)
 if page_response.status_code ==200:
   html_page = requests.get(baseurl).text
   soup = BeautifulSoup(html_page, 'html.parser')

 else:
  print(page_response.status_code)
except requests.Timeout as e:
print(str(e))

然后，我得到429（请求太多）。

我该怎么做才能解决这个问题？这是否意味着我无法打印页面的HTML，是否阻止了我刮擦页面的任何内容？我应该旋转IP地址吗？

Answer 1

如果您只点击页面一次并获得429，则可能不是您点击太多。您无法确定429错误的准确性，这只是他们的网络服务器返回的内容。我见过页面返回404响应代码，但页面还不错，合法丢失的页面上有200响应代码，只是服务器配置错误。他们可能只是从任何漫游器返回429，然后尝试将User-Agent更改为Firefox，Chrome或“ Robot Web Scraper 9000”，然后看看您能得到什么。像这样：

requests.get(baseurl, headers = {'User-agent': 'Super Bot 9000'})

声明自己是机器人或

requests.get(baseurl, headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'})

如果您想更多地模仿浏览器。如果您只是说自己是机器人，则某些网站会返回更好的可搜索代码，而其他网站则相反。基本上是荒野的西部，必须尝试不同的事情。

如果确实要打很多，则需要在通话之间睡觉。这是完全由他们控制的服务器端响应。您还需要调查代码如何与robots.txt进行交互，该文件通常位于Web服务器的根目录下，并包含蜘蛛希望遵循的规则。

您可以在这里阅读有关内容：Parsing Robots.txt in python

蜘蛛网是充满乐趣和挑战性的，只是请记住，您可能会因为任何原因随时被任何网站阻止，您是他们的客人。所以踩得好：）

使用BeautifulSoup 429错误使用Python进行Web抓取

1 个答案: