(强烈)与:Requests Proxy not Working有关 我是python的新手,所以我可能会犯错误道歉。
无论我选择何种代理,每当我在http://www.whatismyproxy.com/上检查我的IP时,它都会显示我的真实IP和#34;可能有代理" -note。我已尝试过来自不同来源的数十种不同的代理人...总是被宣称为"精英"。显然,问题在于我的代码。这里什么都没有:
from lxml import html
import requests
base_url = 'http://www.whatismyproxy.com/'
def pagefetch(url):
httpproxy = "http://111.13.109.51"
proxydict = {
"http_proxy": httpproxy
}
page = requests.get(url, proxies=proxydict)
return page
def scrape1(base_url):
page = pagefetch(base_url)
tree = html.fromstring(page.text)
head1 = tree.xpath('//p[@class="h1"]/text()')
return head1
txt1 = scrape1(base_url)
print txt1
这是我目前正在研究的刮刀的简化版本,因此它略显笨重。 为了澄清,我没有问题连接到代理。 提前谢谢=)我使用的是ubuntu 14.04 btw。
答案 0 :(得分:2)
您的proxydict
错了。它应该是
proxydict = {
'http': httpproxy
}
如果您希望将代理指定为脚本的参数,则可以执行以下操作:
http_proxy='http://111.13.109.51' python my_script.py