Python'请求'代理不工作/泄漏IP?

时间:2014-09-13 22:09:54

标签: python-2.7 proxy web-scraping lxml python-requests

(强烈)与:Requests Proxy not Working有关 我是python的新手,所以我可能会犯错误道歉。

无论我选择何种代理,每当我在http://www.whatismyproxy.com/上检查我的IP时,它都会显示我的真实IP和#34;可能有代理" -note。我已尝试过来自不同来源的数十种不同的代理人...总是被宣称为"精英"。显然,问题在于我的代码。这里什么都没有:

from lxml import html
import requests
base_url = 'http://www.whatismyproxy.com/'

def pagefetch(url):
    httpproxy = "http://111.13.109.51"
    proxydict = {
                "http_proxy": httpproxy
                }

    page = requests.get(url, proxies=proxydict)
    return page

def scrape1(base_url):
    page = pagefetch(base_url)
    tree = html.fromstring(page.text)
    head1 = tree.xpath('//p[@class="h1"]/text()')
    return head1

txt1 = scrape1(base_url)
print txt1

这是我目前正在研究的刮刀的简化版本,因此它略显笨重。 为了澄清,我没有问题连接到代理。 提前谢谢=)我使用的是ubuntu 14.04 btw。

1 个答案:

答案 0 :(得分:2)

您的proxydict错了。它应该是

proxydict = {
    'http': httpproxy
}

如果您希望将代理指定为脚本的参数,则可以执行以下操作:

http_proxy='http://111.13.109.51' python my_script.py