Question

嗨，我正在尝试从finviz抓取多页表该表格每页有20行，我希望硒一页一页地单击（单击下一步），将所有页面添加到一个DataFrame中，而不必每次都传递标题。

到目前为止，这就是我的代码

    import selenium 
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    import pandas as pd


    browser = webdriver.Chrome('c://chromedriver.exe')
    url = 'https://finviz.com/screener.ashx?v=111&f=geo_usa,sh_curvol_o500,sh_price_o1,sh_relvol_o1.5'

    browser.get(url)
    tabel = browser.find_element_by_xpath('//*[@id="screener- 
    content"]/table/tbody/tr[4]/td/table').get_attribute('outerHTML')

    link_next_page = browser.find_element_by_xpath('//*[@id="screener- 
    content"]/table/tbody/tr[7]/td/a[10]/b')
    link_next_page.click()
    df  = pd.read_html(tabel)
    dataset = df[0]

    dataset.to_csv('first_page_screener.csv')

Application Screenshot

tnx寻求帮助

如何使用硒刮刮多页表格？

0 个答案: