在Python中如何刮取每个链接上的内容更改?

时间:2018-02-06 18:41:28

标签: python web-scraping

在Python 3中,我需要在this pagethis

上搜索一个表格

该表格中包含“Descrição”,“Tipo”和“Valor do Bem”列

我做了一个检查元素,表格是:

<table class="table table-stripped dvg-table responsive">

但是在显示请求的内容时,此项目不会出现

这是一个有政治档案的网站,所以标题会相对固定。底部将永远改变

显然,标题中的站点链接是请求找到的内容。但是以不同方式访问表的内容。对于每个政治家,该网站是否会查看该表的另一个链接?

我这样做了:

from bs4 import BeautifulSoup
import requests

requisicao = requests.get('http://divulgacandcontas.tse.jus.br/divulga/#/candidato/2010/14417/AC/10000000001/bens')
# requisicao.content
sopa = BeautifulSoup(requisicao.content, "html.parser")
sopa.find("table", {"class": "table table-stripped dvg-table responsive"})

拜托,有没有人知道如何访问此表?

1 个答案:

答案 0 :(得分:1)

您可以通过以下请求获得所需数据:

while(Test())
{
    //your stuff
}

您可以获得更具体的信息

import requests
import json

url = "http://divulgacandcontas.tse.jus.br/divulga/rest/v1/candidatura/buscar/2016/71072/2/candidato/250000004975"
response = requests.get(url)
print(response.json())

print(response.json()['bens'])

等...