如何使用不变的URL刮取多个页面 - Python 3

时间:2018-02-26 10:01:10

标签: javascript python selenium web-scraping beautifulsoup

我最近接触过网页抓取并尝试网页抓取各种页面。目前,我正在尝试抓取以下网站 - http://www.pizzahut.com.cn/StoreList

到目前为止,我已经使用硒来获取经度和纬度。但是,我的代码现在只提取第一页。我知道有一个动态网页抓取执行javascript并加载不同的页面,但很难找到一个正确的解决方案。我想知道是否有办法访问其他49页左右,因为当我点击下一页时,URL没有因为设置而改变,所以我不能每次都迭代不同的URL

以下是我的代码:

import os
import requests
import csv
import sys
import time
from bs4 import BeautifulSoup

page = requests.get('http://www.pizzahut.com.cn/StoreList')

soup = BeautifulSoup(page.text, 'html.parser')

for row in soup.find_all('div',class_='re_RNew'):
    name = row.find('p',class_='re_NameNew').string
    info = row.find('input').get('value')
    location = info.split('|')
    location_data = location[0].split(',')
    longitude = location_data[0]
    latitude = location_data[1]
    print(longitude, latitude)

非常感谢您的帮助。非常感谢

0 个答案:

没有答案