使用BeautifulSoup在表中提取数据

时间:2013-06-05 05:18:30

标签: python web-scraping beautifulsoup html-table

我正在为我的Android应用程序抓取此page。我想提取城市和地区代码表中的数据

这是我的代码:

from bs4 import BeautifulSoup
import urllib2
import re

base_url = "http://www.howtocallabroad.com/taiwan/"
html_page = urllib2.urlopen(base_url)
soup = BeautifulSoup(html_page)
codes = soup.select("#codes tbody > tr > td")
for area_code in codes:
    # print td city and area code

我想知道python或BeautifulSoup中的哪个函数可以从<td>value</td>获取值

对不起只是一个学习编写python的android开发

1 个答案:

答案 0 :(得分:4)

您可以使用findAll(),以及将列表分成块的功能

>>> areatable = soup.find('table',{'id':'codes'})
>>> d = {}
>>> def chunks(l, n):
...     return [l[i:i+n] for i in range(0, len(l), n)]
>>> dict(chunks([i.text for i in areatable.findAll('td')], 2))
{u'Chunan': u'36', u'Penghu': u'69', u'Wufeng': u'4', u'Fengyuan': u'4', u'Kaohsiung': u'7', u'Changhua': u'47', u'Pingtung': u'8', u'Keelung': u'2', u'Hsinying': u'66', u'Chungli': u'34', u'Suao': u'39', u'Yuanlin': u'48', u'Yungching': u'48', u'Panchiao': u'2', u'Taipei': u'2', u'Tainan': u'62', u'Peikang': u'5', u'Taichung': u'4', u'Yungho': u'2', u'Hsinchu': u'35', u'Tsoying': u'7', u'Hualien': u'38', u'Lukang': u'47', u'Talin': u'5', u'Chiaochi': u'39', u'Fengshan': u'7', u'Sanchung': u'2', u'Tungkang': u'88', u'Taoyuan': u'33', u'Hukou': u'36'}

说明:

.find()找到ID为codes的表格。 chunks函数用于将列表拆分为evenly sized chunks

findAll返回一个列表时,我们使用列表中的块来创建类似的东西:

[[u'Changhua', u'47'], [u'Keelung', u'2'], etc]

i.text for i in...用于获取每个td标记的文字,否则<td></td>将保留。

最后,调用dict()将列表列表转换为字典,您可以使用该字典访问国家/地区的区号。