xpath没有获取所有链接

时间:2019-02-21 08:00:08

标签: python xpath web-scraping scrapy

我正在编写一个抓取工具,以从本地网站获取所有链接。

我正在使用此选择器来获取所有锚点标记的所有href值:

response.xpath('//a/@href')

我得到的结果是:

[<Selector xpath='//a/@href' data=u'index.php'>,
 <Selector xpath='//a/@href' data=u'membership_passwordReset.php'>,
 <Selector xpath='//a/@href' data=u'https://bigprof.com/appgini/'>]

问题是页面上还有另一个带有href = 'admin/pageHome.php'的锚标记,但没有结果。

任何帮助将不胜感激。

我附上页面源代码屏幕截图,以供参考。 Source code of the page showing the href tag which is not showing

0 个答案:

没有答案