如何使用不变的URL刮取多个页面 - python

时间:2015-07-10 14:24:10

标签: python selenium selenium-webdriver web-scraping

我正试图抓住这个网站:http://data.eastmoney.com/xg/xg/

到目前为止,我已经使用selenium来执行javascript并获取表格。但是,我的代码现在只获得第一页。我想知道是否有办法访问其他17个页面,因为当我点击下一页时,URL不会改变,所以我不能每次迭代不同的URL

到目前为止,我的代码如下:

from selenium import webdriver
import lxml
from bs4 import BeautifulSoup
import time

def scrape():
    url = 'http://data.eastmoney.com/xg/xg/'
    d={}
    f = open('east.txt','a')
    driver = webdriver.PhantomJS()
    driver.get(url)
    lst = [x for x in range(0,25)]
    htmlsource = driver.page_source
    bs = BeautifulSoup(htmlsource)
    heading = bs.find_all('thead')[0]
    hlist = []
    for header in heading.find_all('tr'):
        head = header.find_all('th')
    for i in lst:
        if i!=2:
            hlist.append(head[i].get_text().strip())
    h = '|'.join(hlist)
    print h
    table = bs.find_all('tbody')[0]
    for row in table.find_all('tr'):
        cells = row.find_all('td')
        d[cells[0].get_text()]=[y.get_text() for y in cells]
    for key in d:
        ret=[]
        for i in lst:
            if i != 2:
                ret.append(d.get(key)[i])
        s = '|'.join(ret)
        print s     

if __name__ == "__main__":  
    scrape()

或者,如果我在每次点击后使用webdriver.Chrome()而不是PhantomJS然后在新页面上运行Python,我是否可以单击浏览器?

2 个答案:

答案 0 :(得分:4)

这不是一个与之交互的简单页面,需要使用Explicit Waits来等待" loading"的隐身。指标。

以下是您可以用作起点的完整且有效的实现:

# -*- coding: utf-8 -*-
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

from selenium import webdriver
import time

url = "http://data.eastmoney.com/xg/xg/"
driver = webdriver.PhantomJS()
driver.get(url)

def get_table_results(driver):
    for row in driver.find_elements_by_css_selector("table#dt_1 tr[class]"):
        print [cell.text for cell in row.find_elements_by_tag_name("td")]


# initial wait for results
WebDriverWait(driver, 10).until(EC.invisibility_of_element_located((By.XPATH, u"//th[. = '加载中......']")))


while True:
    # print current page number
    page_number = driver.find_element_by_id("gopage").get_attribute("value")
    print "Page #" + page_number

    get_table_results(driver)

    next_link = driver.find_element_by_link_text("下一页")
    if "nolink" in next_link.get_attribute("class"):
        break

    next_link.click()
    time.sleep(2)  # TODO: fix?

    # wait for results to load
    WebDriverWait(driver, 10).until(EC.invisibility_of_element_located((By.XPATH, u"//img[contains(@src, 'loading')]")))

    print "------"

我们的想法是拥有一个无限循环,我们只有在"下一页"链接变为禁用(不再提供可用页面)。在每次迭代中,获取表结果(为了示例而在控制台上打印),单击下一个链接并等待"加载"的不可见性。旋转圆圈出现在网格顶部。

答案 1 :(得分:0)

我发现了另一种使用Chromedriver和Selenium在C#中做到这一点的方法。您所要做的就是在代码中添加selenium引用并放入chromedriver.exe引用。

在您的代码中,您可以使用

导航到网址
using (var driver = new chromedriver())
{
    driver.Navigate().GoToUrl(pathofurl);
    //find your element by using FindElementByXpath
    //var element = driver.FindElementByXpath(--Xpath--).Text;
}

查找Xpath很简单 - 您只需通过转到chrome商店下载chrome中的scraper扩展或x-path扩展即可。一旦你获得了元素的x-path,你可以找到下一个按钮的x-path,并在你的代码中使用它在循环中非常容易地浏览页面。希望这可以帮助。