Question

我正在使用硒和geckodriver（在Firefox上）刮擦eBay。我的操作系统是Ubuntu 16.04。

我只想单击下一步按钮！我究竟做错了什么？我已经评论了两个无法完成的按钮分配实例...

# import libraries
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd 
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary

# specify the url

urlpage = 'https://www.ebay.com/b/Nike-Athletic-Apparel-for-Women/185082/bn_648725?rt=nc&LH_Sold=1' 
print(urlpage)

# run firefox webdriver from executable path of your choice 
driver = webdriver.Firefox()

# get web page
driver.get(urlpage)


for page_num in range(0, 2):
    parentElement = driver.find_element_by_class_name("s-item")
    results = parentElement.find_elements_by_css_selector("*") # all children by CSS
    #button = driver.find_elements_by_class_name('ebayui-pagination__control') # not working
    #button = driver.find_elements_by_xpath('//html/body/div[3]/div[3]/div[4]/section[1]/div[2]/nav/a[2]/span/svg[2]/use') # not working
    button.click()

    print('Number of results', len(results))
    for r in results:
        print(r.text)

df = pd.DataFrame(results)
df.head()
df.to_csv('eBay_scrape.csv')

driver.quit()

收到错误：

https://www.ebay.com/b/Nike-Athletic-Apparel-for-Women/185082/bn_648725?rt=nc&LH_Sold=1

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-2-58b4e0e554fc> in <module>
     19     #results = parentElement.find_elements_by_tag_name("li") # not working...
     20     #results = driver.find_elements_by_class_name("vip") # 50 results per page. But useless...
---> 21     button = driver.find_elements_by_class_name('ebayui-pagination__control')
     22     #button = driver.find_elements_by_xpath('//html/body/div[3]/div[3]/div[4]/section[1]/div[2]/nav/a[2]/span/svg[2]/use')

IndexError: list index out of range

Answer 1

driver.find_elements_by_class_name('ebayui-pagination__control')返回列表

该页面上具有该类的2个按钮-要检查，请在Firefox控制台中键入以下内容：$$('.ebayui-pagination__control')

所以您需要： button = driver.find_elements_by_class_name('ebayui-pagination__control')[1]获取第二个按钮。

第二种方法（find_elements_by_xpath）在较长的xpath下看起来非常脆弱，它所要做的就是更改该路径中的一个数组，即使您一开始就可以使它不再工作。

Answer 2

您无需更新代码的下一页按钮，只需更新您的抓取网址即可。

如果您注意到，&_pgn=<page_number>将附加到后续页面的url字符串中。您可以简单地刮一页并增加页码，直到没有有效的页码为止。

Answer 3

您可以诱导WebDriverWait和element_to_be_clickable并跟随xpath。

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

WebDriverWait(driver,20).until(EC.element_to_be_clickable((By.XPATH,"//a[@class='ebayui-pagination__control'][@rel='next']"))).click()

Web刮板无法单击分页按钮

3 个答案: