从网站上的表中提取数字

时间:2015-06-11 18:33:08

标签: python web-scraping beautifulsoup

我正在尝试从网站提取数据供个人使用。我只希望在一小时的顶部降水。我差不多完整但我不能总结数据。我认为它是因为它返回空值,和/或因为数据不是全部整数?也许使用for循环是不正确的?

以下是代码:

import urllib2
from bs4 import BeautifulSoup
import re

url = 'http://www.saiawos2.com/K61/15MinuteReport.php'
page = urllib2.urlopen(url) 
soup  = BeautifulSoup(page.read())

table = soup.findAll('table')[0]
rows = table.findAll('tr')

second_columns = []
thirteen_columns = []

for row in rows[1:]:
    second_columns.append(row.findAll('td')[1]) #Column with times
    thirteen_columns.append(row.findAll('td')[12]) #Precipitation Column

for second, thirteen in zip(second_columns, thirteen_columns):
    times = ['12:00','11:00','10:00','09:00','08:00','07:00','06:00',
         '05:00','04:00','03:00','02:00','01:00','00:00','23:00',
         '22:00','21:00','20:00','19:00','18:00','17:00','16:00',
         '15:00','14:00','13:00',]
    time = '|'.join(times) 
    if re.search(time, second.text):
        pcpn = re.sub('[^0-9]', '', thirteen.text) #Get rid of text
        print sum(pcpn[1:]) #Print sum and get rid of leading zero

也许有一种简单的方法可以做到这一点,但这是我到目前为止所做的。当我求和(pcpn)时,它给出了带有print语句的行的以下错误:

TypeError: unsupported operand type(s) for +: 'int' and 'unicode'

1 个答案:

答案 0 :(得分:0)

问题是sum试图找到整数列表的总和,因为你已经传递了一个无法求和的unicode字符列表。

您需要做的就是将列表中的每个元素映射到int并将其传递给总和。

if re.search(time, second.text):
        pcpn = re.findall(r'[0-9.]+', thirteen.text) 
        print sum( float(x) for x in pcpn )

它的作用是什么?

  • re.findall(r'[0-9.]+', thirteen.text)而不是使用re.sub函数,我们使用re.findall(),它会为您提供匹配列表,然后可以将其传递给sum()函数。这里的比赛是数字。

  • sum( float(x) for x in pcpn )将每个元素映射到float并找到总和。

    • ( float(x) for x in pcpn )是一个generator语句,可以随时创建元素。