如何使用用户名和密码在网站上使用Python抓取

Question

您好我正在使用此代码从timeanddate.com网站获取数据。但我需要使用我的用户名和密码＆amp;抓住我墙上的评论并将其写入文本文件。我可以用python做到这一点吗？怎么做？

import urllib2
from BeautifulSoup import BeautifulSoup


soup = BeautifulSoup(urllib2.urlopen('http://www.timeanddate.com/worldclock/astronomy.html?n=78').read())

for row in soup('table', {'class' : 'spad'})[0].tbody('tr'):
tds = row('td')
print tds[0].string, tds[1].string

...谢谢

Answer 1

使用Requests API。它也处理身份验证。