如何在指定类别下对所有链接(href)进行爬网?

时间:2019-07-01 11:20:15

标签: python selenium web-scraping

我正在抓捕https://www.bell.ca/Mobility/Smartphones_and_mobile_internet_devices,并且希望获取class =“ rsx-product-hotspot”下的所有href链接。

我设法抓取了页面上所有可能的链接,但是那太多了不相关的信息。我只想要与单击可用设备相关的所有链接。

def phoneList():

driver.get("https://www.bell.ca/Mobility/Smartphones_and_mobile_internet_devices")

elems = driver.find_elements_by_xpath("//a[@href]")
for elem in elems:
    print (elem.get_attribute("href"))

因此,如果单击,最终结果应该是指向设备对应页面的所有链接的列表。例如:

列表= [https://www.bell.ca/Mobility/Products/Samsung-Galaxy-S10?INT=MOB_mobdevpg_BTN_poplink_Mass_051016_mb_detailshttps://www.bell.ca/Mobility/Products/iPhone-XR?INT=MOB_mobdevpg_BTN_poplink_Mass_051016_mb_details

谢谢,非常感谢

0 个答案:

没有答案