无法使用Scrapy从网页加载和抓取数据

Question

我正在尝试使用Python中的Scrapy框架从https://www.grailed.com/抓取数据，但是当我进入

scrapy shell

并尝试学习如何提取数据，

response.css("my css path")

或

response.xpath("my xpath")

我总是得到空名单。然后，当我在https://www.grailed.com的shell中获取并查看响应时，我得到了一个几乎空白的页面，其中不包含我要抓取的数据（项目，价格等）。在这种情况下，Scrapy是否仍然可以满足我的目的？如果没有，还有其他选择吗？谢谢！

Answer 1

此网站使用JS加载内容。 Scrapy不支持JS。这就是为什么您看到没有数据本身的空html模板的原因。 可能的解决方案：

1. 尝试使用无头浏览器，该浏览器将执行页面上的所有JS。有时我发现phantomjscloud非常方便地呈现JS网站的API解决方案。您可以这样使用-enter link description here
2. 检查网络连接标签，查看是否有一些API调用以json格式返回您需要的数据，因此您可以直接获取它。