对于典型的eBay搜索结果页面,例如this,我在Python中使用WebDriver来提取每个结果的价格:
PRICEELEMENT = 'ul:nth-child(3) > li:nth-child(1) > span:nth-child(1)'
prices = driver.find_elements_by_css_selector(PRICEELEMENT)]
构建prices
有时需要 10秒,平均值为4或5.所以:
PRICEELEMENTCLASS = 'bidsold'
prices driver.find_elements_by_class_name(PRICEELEMENTCLASS)
当然,我必须为每个价格获得.text
,这会增加更多时间。
使用BeautifulSoup
或lxml
(或其他)有哪些更好的选择?