Question

我一直在关注scrapy教程，试图为warframe.market创建一个非常简单的web scraper。我有大约一年的学校编码经验，但没有python经验。我只是想从网站上获得一件商品的价格。我使用以下内容来抓取页面：

scrapy shell "https://warframe.market/items/hydroid_prime_set"

然后我检查了网页，找到了我想要抓取的各个元素。我用这个命令试着查看我想要的结果：

response.css("div.order-row.d-flex.col-12").extract()

这不起作用，所以我用view(response)看看我刮了什么，我的cmd就在这一点上无休止地等待。

HTTPS阻止我刮擦吗？我在回复中选择了错误的CSS吗？网页太大了吗？有人可以告诉我哪里出错了吗？

由于

Answer 1

响应不是空的，但它是使用javascript呈现的（您可以验证它检查response.body），例如在shell中尝试：

import json
data = json.loads(response.css('#application-state::text').extract_first())
for order in data.get('payload',{}).get('orders', []):
    print '"{}" price: {}'.format(order.get('platinum'), 
                                  order.get('user',{}).get('ingame_name'))

响应中没有任何内容

1 个答案: