我的脚本非常简单,访问www.songfacts.com:
url = getSongUrlFor(title)
page = requests.get(url).text
soup = BeautifulSoup(page, 'html.parser').get_text()
当我只运行前两行时似乎工作正常但是一旦我添加了BeautifulSoup调用,连接就被阻止了:
requests.exceptions.ConnectionError:
HTTPConnectionPool(host='www.songfacts.com', port=80): Max retries exceeded
with url: /search-songs-1.php?bohemian+rhapsody (Caused by
NewConnectionError('<urllib3.connection.HTTPConnection object at 0x1038bb6d0>:
Failed to establish a new connection: [Errno 61] Connection refused',))
我使用requests
多次访问该页面没有问题,但是第一次使用BeautifulSoup
不仅停止了python(甚至回到requests
)但Chrome和Safari也会在一段不确定的时间内访问这个特定的网站(目前大约一个小时后我仍然无法访问它)。
第二天早上我可以再次访问该网站,直到我尝试BeautifulSoup
然后它就会破坏它。
奇怪的是,这个问题并没有在我试过的其他网站上重现。
帮助。
更新:切换IP地址(现在通过我的iPhone连接)它工作了一次或两次(没有BeautifulSoup),但随后:
requests.exceptions.ConnectionError: ('Connection aborted.', error(54, 'Connection reset by peer'))