移动到下一页时,网址不会更改

时间:2017-02-07 11:32:47

标签: python web-scraping

嗨〜我只想从页面获取一些数据。 我想以编程方式导航到该页面。 但是当我移动到下一页时,此页面的URL不会改变。 该网站为http://goodauction.land.naver.com/auction/ca_list.php

我不知道为什么 我怎么解决这个问题?

1 个答案:

答案 0 :(得分:1)

每次单击下一页链接时,它都会将数据发布到服务器。 enter image description here

您可以模仿post使用请求库。

import requests, bs4
payload = {
        'lawsup':0,
        'lesson':0,
        'next_biddate1':'',
        'next_biddate2':'',
        'state':91,
        'b_count1':0,
        'b_count2':0,
        'b_area1':'',
        'b_area2':'',
        'special':0,
        'e_area1':'',
        'e_area2':'',
        'si':11,
        'gu':0,
        'dong':0,
        'apt_no':0,
        'order':'',
        'start':60,
        'total_record_val':850,
        'detail_search':'',
        'detail_class':'',
        'recieveCode':'',}
headers = {'User-Agent':'Mozilla/5.0', 
          'Referer':'http://goodauction.land.naver.com/auction/ca_list.php'}
r = requests.post('http://goodauction.land.naver.com/auction/ax_list.php', data=payload, headers=headers)
print(r.text)

虽然文件很多,但页面位于start字段中: 你可以发帖:

payload = {
        'state':91,
        'start':30,  # each page contains 30 record, next page +30 example: 0, 30, 60
        'total_record_val':850,}