Scrappy Shell没有返回整个页面

Question

我有以下问题。

当我运行这个松脆的外壳时： scrapy shell "http://en.50partners.fr/Startups/"

我希望检索整个页面，不幸的是，当我运行view(response)时，我正在检索的页面中没有启动部分。您有什么主意，如何解决此问题？

谢谢。

Answer 1

带有启动项的零件是动态加载的。

尝试在您选择的浏览器中关闭JavaScript来打开初始页面，您将获得相同的结果。

现在检查此页面的HTML以查看此内容：

<div class="Folder_page_block startups"
data-children-count="46"
data-children-reload-url="http://en.50partners.fr/fiftyPartners/ajax/folder/67/children/%page%/%limit%/%view%"
data-children-view="line">

有从中加载数据的URL。 您可能想摆弄URL，在“ children”之后删除所有内容，然后使用此URL启动另一个Request。

结果响应不是您可能期望的HTML。您可能想要import json，运行json.load(response.text)并检查结果列表。

玩得开心：）