从Scrapy页面获取完整链接

时间:2015-02-14 14:39:37

标签: python html google-chrome hyperlink scrapy

我想从页面获取种子链接。使用chrome源浏览器,我看到链接是:

href="browse.php?search=Brooklyn+Nine-Nine&page=1"

但是后来我用Scrapy废弃了这个链接,我只得到:

href="browse.php?page=1"

这个“搜索= Brooklyn + Nine-Nine&”部分不在链接中。

进入页面的种子搜索表单,我输入“Brooklyn Nine-Nine”,它将显示所有搜索结果。

所以我的问题是它是否会自动链接格式化功能?以及如何在Chromes展示的情况下与Scrapy建立联系。 我想我可以自己输入缺失的部分。就像用替换用于搜索的文本中的加号替换空格一样。 或者也许有一些更优雅的解决方案......

1 个答案:

答案 0 :(得分:0)

一切都好......我的剧本中出错了。我的搜索文本为空,因此链接也没有任何其他文本。