Multipage / WebPartZone网络抓取

时间:2019-07-10 21:03:00

标签: python-3.x web-scraping

我正在抓取网页。该网页使用WebPartZone对文档进行“分页”。当您按下页面按钮时,网址会更改,但是当我使用新地址运行刮板时,我会得到与页面1相同的文件。有没有办法让我的代码通过页面的WebPaartZone部分。

我使用了我在剪贴器中单击“页面”按钮时获得的网址。 网址:https://www.phoenix.gov/cityclerk/publicmeetings/city-council-meetings#Default=%7B%22k%22%3A%22%22%7D#282554d5-b014-43a9-ae39-9eab8e259ec7=%7B%22k%22%3A%22%22%7D#ed258f12-fa23-4caf-b192-c764bb2f3271=%7B%22k%22%3A%22%22%7D#0f110889-7dba-49bc-9232-0a98aa011d47=%7B%22k%22%3A%22%22%7D#44006797-9fae-4be3-af68-815a81035807=%7B%22k%22%3A%22%22%7D


    archive_url = "https://www.phoenix.gov/cityclerk/publicmeetings/city- 
      council-meetings#"

    driver = webdriver.Firefox()
    driver.implicitly_wait(2)
    driver.get(archive_url)
    html = driver.page_source

无论使用哪个网址,我都会下载相同的文件。

0 个答案:

没有答案