我目前正在抓取amazon.com网站的请求和代理使用。
我正在将请求模块与python3配合使用。
我所面临的问题是,亚马逊会根据代理的地理位置而不是美国的amazon.com返回结果给我。
如何确保仅从美国获得美国amazon.com的结果?
这是我的代码:
import requests
url = 'https://www.amazon.com/s?k=a%20circuit'
proxy_dict = # Proxy details in the dictionary form
response = requests.get(url, proxies=proxy_dict, timeout=(3, 3))
htmlText = response.text
# I am than saving the details in a text file.
代码可以正常工作,但是它确实返回了代理位置的结果。
如何确定结果仅适用于美国? Shell我可能在url上添加一些内容还是在标题上添加一些内容?