无法在代理中打开链接

Question

我实际上是使用代理来从某些网站获取数据，但问题是有时一些proy url没有返回任何内容并在几次尝试后停止编程，我需要一些逻辑来克服这个问题，以便即使IP不响应程序应该更新IP并尝试再次打开页面，我在Tthon中使用TOR作为代理。

这是我的网站开放代码：

mainPage = requests.get("http://proxy_IP/?link=http://example.com/")
mainTree = html.fromstring(mainPage.text)

Answer 1

您可以简单地将代码置于while循环中并为其指定一定的条件，当该条件变为TRUE时，表示您的页面已正确打开。

mainPage = requests.get("http://proxy_IP/?link=http://example.com/")
mainTree = html.fromstring(mainPage.text)

mainTree
while (mainTree.xpath('boolean(some_xpath_to_be_true])') != True):
    mainPage = requests.get("http://proxy_IP/?link=http://example.com/")
    mainTree = html.fromstring(mainPage.text)

现在您的mainTree正确包含页面源。