Scrapy视图返回一个空白页面

Question

我是Scrapy的新人，我只是想抓一下http://www.diseasesdatabase.com/

当我输入scrapy view http://www.diseasesdatabase.com/时，它会显示一个空白页面，但如果我下载页面并在本地文件上执行此操作，则会像往常一样显示。为什么会这样？

Answer 1

假装是一个提供User-Agent标题的真实浏览器：

scrapy view http://www.diseasesdatabase.com/ -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36"

为我工作。

请注意，此处-s选项有助于覆盖内置USER_AGENT setting。