如何从网站获取网址

时间:2017-05-18 22:14:03

标签: python selenium web-scraping scrapy-spider

我试图从这个网站获取所有网址:

https://www.bbvavivienda.com/es/buscador/venta/vivienda/todos/la-coruna/

内部有许多链接,例如https://www.bbvavivienda.com/es/unidades/UV_n_UV00121705,但我无法使用Selenium恢复它们。知道怎么做吗?

我添加了有关我如何尝试的更多信息。显然......我开始使用python,selenium等...提前感谢:

**from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome("D:\Python27\selenium\webdriver\chrome\chromedriver.exe")
driver.implicitly_wait(30)
driver.maximize_window()

driver.get("https://www.bbvavivienda.com/es/buscador/venta/vivienda/todos/la-coruna/")
urls=driver.find_element_by_css_selector('a').get_attribute('href')
print urls

links = driver.find_elements_by_partial_link_text('_self')
for link in links:
    print link.get_attribute("href")
driver.quit()**

2 个答案:

答案 0 :(得分:1)

以下代码应该有效。您使用错误的链接标识符。

driver = webdriver.Chrome()
driver.implicitly_wait(30)
driver.maximize_window()

    driver.get("https://www.bbvavivienda.com/es/buscador/venta/vivienda/todos/la-coruna/")
    urls=driver.find_element_by_css_selector('a').get_attribute('href')
    print urls

    for link in driver.find_elements_by_xpath("//a[@target='_self']"):
        try:
            print link.get_attribute("href")
        except Exception:
            pass
    driver.quit()

答案 1 :(得分:-1)

我不知道python,但通常在Java中我们可以找到网页中标记为“a”的所有元素,以便在网页中查找链接。您可以找到以下有用的代码段。

List<WebElement> links = driver.findElements(By.tagName("a"));

        System.out.println(links.size());

        for (int i = 1; i<=links.size(); i=i+1)

        {

            System.out.println(links.get(i).getText());

        }