我使用WebDriver的 find_element s _by 方法集体抓取网站,公司名称,电话和在this
等页面中的20个结果中的每个结果的地址所以:
# Business name
driver.find_elements_by_xpath("//div[@class='_pl _ki']")
# Phone
phonesXpath = '//span[@class ="_FSf"]'
d=driver.find_elements_by_xpath(phonesXpath)
# Website
websitesXpath = '//a[@class ="rllt__action-button _Jrh"]'
d=driver.find_elements_by_xpath(websitesXpath)
# Review Counts
driver.find_elements_by_xpath("//*[@class='_rl']/following-sibling::span[1]")]
etc.
我最终得到了一个地址列表,另一个电话号码列表,等等。
虽然我可以使用zip()
为20个结果中的每个重建手机,地址等,但我该如何直接实现此目的?换句话说,使用20个结果div中每个结构div的页面结构知识,我如何使用单数find_element_by_xpath()
迭代每个结果div并单独获取相同的信息?