如何以编程方式获取网站中所有页面的URL

时间:2015-10-28 17:35:26

标签: java selenium-webdriver web-crawler

我想使用优选的java或者如果有一种方法使用selenium webdriver,我不希望链接存在于页面中。我希望像https://www.xml-sitemaps.com/这样的结果提供域中所有网页网址的列表。我不需要它像树或xml,只需简单的简单URL就可以了

1 个答案:

答案 0 :(得分:0)

您可以查找标签(例如href或a),然后将链接存储在列表中。

列出links = driver.findElements(By.tagName(" href"));