使用beautifulSoup4解析html表时出现属性错误

时间:2019-02-19 19:02:31

标签: python web-scraping beautifulsoup html-parsing

我正在尝试使用BeautifulSoup4从表格中获得排名,国家名称,人口,密度和表面。当我使用table.find_all('tr')时,它返回以下错误:

  

AttributeError:“ ResultSet”对象没有属性“ find_all”

我想问题的根源是:

table = soup.find_all("table",attrs={"class":"wikitable sortable"}) 

这将返回一个包含tbody的元素的列表,我无法对其进行循环!

import requests 
from bs4 import BeautifulSoup
import re

r = requests.get("https://fr.wikipedia.org/wiki/Liste_des_pays_par_densit%C3%A9_de_population")

soup = BeautifulSoup(r.content, "html.parser")
table = soup.find_all("table",attrs={"class":"wikitable sortable"})
for i in table.find_all('tr'):

    tds=i.find_all('td', string=True)
    tds_string = str(tds)
    specifications = str(re.sub("<.+?>"," ",tds_string))    
    print(specifications)

下面是表格的格式:

<table class="wikitable sortable" style="text-align:right">
<tbody><tr>
<th scope="col">Rang
</th>
<th scope="col">Pays <i>(ou territoire)</i>
</th>
<th scope="col">Densité (<abbr class="abbr" title="habitants">hab.</abbr>/km<sup>2</sup>)
</th>
<th scope="col">Population (<abbr class="abbr" title="habitants">hab.</abbr>)
</th>
<th scope="col">Superficie (km<sup>2</sup>)
</th></tr>
<tr>
<td>1</td>
<td align="left"><span class="datasortkey" data-sort-value="Monaco"><span class="flagicon"><a class="image" href="/wiki/Fichier:Flag_of_Monaco.svg" title="Drapeau de Monaco"><img alt="Drapeau de Monaco" class="noviewer thumbborder" data-file-height="600" data-file-width="750" decoding="async" height="16" src="//upload.wikimedia.org/wikipedia/commons/thumb/e/ea/Flag_of_Monaco.svg/20px-Flag_of_Monaco.svg.png" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/e/ea/Flag_of_Monaco.svg/30px-Flag_of_Monaco.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/e/ea/Flag_of_Monaco.svg/40px-Flag_of_Monaco.svg.png 2x" width="20"/></a> </span><a href="/wiki/Monaco" title="Monaco">Monaco</a></span></td>
<td>18 866</td>
<td>38 109</td>
<td>2,02
</td></tr>
<tr>
<td>2</td>
<td align="left"><span class="datasortkey" data-sort-value="Singapour"><span class="flagicon"><a class="image" href="/wiki/Fichier:Flag_of_Singapore.svg" title="Drapeau de Singapour"><img alt="Drapeau de Singapour" class="noviewer thumbborder" data-file-height="2880" data-file-width="4320" decoding="async" height="13" src="//upload.wikimedia.org/wikipedia/commons/thumb/4/48/Flag_of_Singapore.svg/20px-Flag_of_Singapore.svg.png" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/4/48/Flag_of_Singapore.svg/30px-Flag_of_Singapore.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/4/48/Flag_of_Singapore.svg/40px-Flag_of_Singapore.svg.png 2x" width="20"/></a> </span><a href="/wiki/Singapour" title="Singapour">Singapour</a></span></td>
<td>7 829</td>
<td>5 423 148</td>
<td>692,7
</td></tr>
<tr>
.....

2 个答案:

答案 0 :(得分:0)

find_all返回一个列表。您可能想使用find来返回一个表。要么迭代每个表上的调用find_all('tr')的列表。

答案 1 :(得分:0)

只有一张桌子,所以要用熊猫

import pandas as pd
table = pd.read_html('https://fr.wikipedia.org/wiki/Liste_des_pays_par_densit%C3%A9_de_population')
# print(table)
table[0].to_csv(r'C:\Users\User\Desktop\Data.csv', sep=',', encoding='utf-8-sig',index = False )