Python从网站上抓取动态表?

时间:2019-11-11 21:05:38

标签: python web-scraping

我正在尝试从一个表中获取信息,该表的值在某些输入下会发生变化(您必须选择分析日期)

我从来没有从“动态”表中获取信息,所以我什么也没得到

from bs4 import BeautifulSoup

from urllib.request import urlopen, Request

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.3'}

reg_url = "http://www.cmfchile.cl/institucional/mercados/entidad.php?mercado=V&rut=9117&grupo=&tipoentidad=FIRES&row=AAAw%20cAAhAABP4LAAU&vig=VI&control=svs&pestania=7"

req = Request(url=reg_url, headers=headers) 

html = urlopen(req).read() 

soup = BeautifulSoup(html)

1 个答案:

答案 0 :(得分:0)

我认为BeautifulSoup无法获得动态数据。

为此,您最好使用Selenium,可以将日期更改为所需的日期,然后获取所需的任何元素。

检查一下: How to retrieve the values of dynamic html content using Python