我需要抓取一个网页。当我检查它时,我可以获得元素,但是在源代码上它们没有出现。
我正在尝试废弃https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx#k=#s=11
在底部的表中,如果我单击“检查”,则会在表中找到元素,但是我不知道如何以编程方式访问它们(Python)
如果我运行下面的代码,即使表格发生了变化,我总是从首页(https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx)而不是随后的页面获取信息
我尝试了请求并阅读了源代码,但是元素没有出现。
出现在源代码中的表格与第一个网页相对应,当我单击下一步时,它会显示相同的信息
import requests from bs4
import BeautifulSoup
urlpage =
'https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx#k=#s=11'
res = requests.get(urlpage) res.raise_for_status() soup =
BeautifulSoup(res.text)
table = soup.find_all('table')[2]
将表格内的文字刮掉。 如果我抓取html代码,则从第一页(https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx)而不是我要抓取的页面(https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx#k=#s=11)中获取信息