我正在尝试使用包含片段标识符的requests模块发送GET请求。我有以下代码：
url = 'http://steamcommunity.com/market/search?appid=730#p20_quantity_desc'
page = requests.get(url, headers=headers)
但是我总是得到基页（http://steamcommunity.com/market/search?appid=730）而不是带有片段标识符的页面（似乎没有发送＃p20_quanitity_description）。
urllib2对我来说也不适用于代码：
req = urllib2.Request(url, headers={ 'User-Agent': 'Mozilla/5.0' })
page = urllib2.urlopen(req).read().decode('UTF-8', 'ignore')
我如何发送GET请求并在网址中包含＃p20_quanitity_description？
答案 0 :(得分：5)
锚点（p20_quantity_desc）对服务器没有任何意义。页面上有一些Javascript正在根据此锚点更改结果的排序顺序，但这是客户端的。 Requests / urllib将在有或没有锚点的情况下看到相同的页面响应。
尝试在页面上禁用Javascript，您就会明白我的意思。
您要做的是向页面正在使用的API端点发出请求。这是一个例子：
http://steamcommunity.com/market/search/render/?query=&start=0&count=10&search_descriptions=0&sort_column=quantity&sort_dir=asc&appid=730
注意sort_column参数？这是您可以更改的值，以确定结果的顺序。使用像lxml这样的库来解析results_html字段和presto，你就完成了。