我正在尝试从网站提取数据供个人使用。我只希望在一小时的顶部降水。我差不多完整但我不能总结数据。我认为它是因为它返回空值,和/或因为数据不是全部整数?也许使用for循环是不正确的?
以下是代码:
import urllib2
from bs4 import BeautifulSoup
import re
url = 'http://www.saiawos2.com/K61/15MinuteReport.php'
page = urllib2.urlopen(url)
soup = BeautifulSoup(page.read())
table = soup.findAll('table')[0]
rows = table.findAll('tr')
second_columns = []
thirteen_columns = []
for row in rows[1:]:
second_columns.append(row.findAll('td')[1]) #Column with times
thirteen_columns.append(row.findAll('td')[12]) #Precipitation Column
for second, thirteen in zip(second_columns, thirteen_columns):
times = ['12:00','11:00','10:00','09:00','08:00','07:00','06:00',
'05:00','04:00','03:00','02:00','01:00','00:00','23:00',
'22:00','21:00','20:00','19:00','18:00','17:00','16:00',
'15:00','14:00','13:00',]
time = '|'.join(times)
if re.search(time, second.text):
pcpn = re.sub('[^0-9]', '', thirteen.text) #Get rid of text
print sum(pcpn[1:]) #Print sum and get rid of leading zero
也许有一种简单的方法可以做到这一点,但这是我到目前为止所做的。当我求和(pcpn)时,它给出了带有print语句的行的以下错误:
TypeError: unsupported operand type(s) for +: 'int' and 'unicode'
答案 0 :(得分:0)
问题是sum
试图找到整数列表的总和,因为你已经传递了一个无法求和的unicode字符列表。
您需要做的就是将列表中的每个元素映射到int
并将其传递给总和。
if re.search(time, second.text):
pcpn = re.findall(r'[0-9.]+', thirteen.text)
print sum( float(x) for x in pcpn )
它的作用是什么?
re.findall(r'[0-9.]+', thirteen.text)
而不是使用re.sub
函数,我们使用re.findall()
,它会为您提供匹配列表,然后可以将其传递给sum()
函数。这里的比赛是数字。
sum( float(x) for x in pcpn )
将每个元素映射到float
并找到总和。
( float(x) for x in pcpn )
是一个generator语句,可以随时创建元素。