使用地理位置问题的请求问题使用python进行网络抓取

时间:2019-09-19 06:52:51

标签: python web-scraping request geolocation

我目前正在抓取amazon.com网站的请求和代理使用。

我正在将请求模块与python3配合使用。

我所面临的问题是,亚马逊会根据代理的地理位置而不是美国的amazon.com返回结果给我。

如何确保仅从美国获得美国amazon.com的结果?

这是我的代码:

import requests
url = 'https://www.amazon.com/s?k=a%20circuit'
proxy_dict = # Proxy details in the dictionary form
response = requests.get(url, proxies=proxy_dict, timeout=(3, 3))
htmlText = response.text
# I am than saving the details in a text file.

代码可以正常工作,但是它确实返回了代理位置的结果。

如何确定结果仅适用于美国? Shell我可能在url上添加一些内容还是在标题上添加一些内容?

0 个答案:

没有答案