我想检索某个国家/地区的应用商店HTML页面。
我正在考虑使用request
python包来伪造HTTP GET请求,地理定位是否有任何特定的标头?或者我可以用来请求国家特定版本网页的任何内容。
答案 0 :(得分:1)
为appstore构建一个scraper可以通过几种方式完成。以苹果商店为例,下面的两个地址属于Apple app store的图表页面。您会看到CA如何更改为CN。这是一个国家代码。
https://www.apple.com/ca/itunes/charts/
https://www.apple.com/cn/itunes/charts/
您可以创建某种功能,并根据功能输入使用不同的参数。下面的代码只会让你开始,你仍然需要连接整个URL,而不仅仅是它的一部分。
type_params = {'Canada': {'ca'},
'China': {'cn'}}
url = 'https://www.apple.com/'
params = {CA}
params.update(type_params[type])
headers = {'User-Agent': ...}
resp = requests.get(url, headers=headers, params=params)