Question

我正在尝试在2个请求中扫描HTML。在第一个，它工作，但当我尝试使用另一个，我试图找到的HTML看不到它的错误。

    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
    page = requests.get('https://www.amazon.com/gp/aw/ol/B00DZKQSRQ/ref=mw_dp_olp?ie=UTF8&condition=new, headers=headers)

newHeader = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'}
pagePrice = requests.get('https://www.amazon.com/gp/aw/ol/B01EQJU8AW/ref=mw_dp_olp?ie=UTF8&condition=new',headers=newHeader)

第一个请求正常工作，并为我提供了良好的HTML。第二个请求提供了错误的HTML。

我看到了这个包，但没有成功： https://pypi.python.org/pypi/fake-useragent

我看到这个话题没有答案： Double user-agent tag, "user-agent: user-agent: Mozilla/"

非常感谢！

python user-agent xpath amazon

0 个答案: