问题python使用jscript

时间:2019-10-14 13:22:20

标签: python web-scraping jscript

我需要抓取一个网页。当我检查它时,我可以获得元素,但是在源代码上它们没有出现。

我正在尝试废弃https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx#k=#s=11

在底部的表中,如果我单击“检查”,则会在表中找到元素,但是我不知道如何以编程方式访问它们(Python)

enter image description here

如果我运行下面的代码,即使表格发生了变化,我总是从首页(https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx)而不是随后的页面获取信息

我尝试了请求并阅读了源代码,但是元素没有出现。

出现在源代码中的表格与第一个网页相对应,当我单击下一步时,它会显示相同的信息

import requests from bs4 
import BeautifulSoup

 urlpage =
 'https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx#k=#s=11'
 res = requests.get(urlpage) res.raise_for_status()    soup =
 BeautifulSoup(res.text)
      table = soup.find_all('table')[2]

将表格内的文字刮掉。 如果我抓取html代码,则从第一页(https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx)而不是我要抓取的页面(https://www.dnp.gov.co/CONPES/documentos-conpes/Paginas/documentos-conpes.aspx#k=#s=11)中获取信息

0 个答案:

没有答案