试图抓取数据,但不能刮掉所有(Python)

时间:2016-11-04 11:29:48

标签: python selenium urllib2 urllib urllib3

我正试图从这个页面http://freelegalconsultancy.blogspot.co.uk/中删除关注者的数量,但似乎无法拉动它。我尝试过使用urlliburllib2urllib3seleniumbeautiful soup,但是没有抓住关注者。这是我的代码目前的样子:

import urllib2

url = "http://freelegalconsultancy.blogspot.co.uk/"

opener = urllib2.urlopen(url)

for item in opener:
    print item

我如何才能拉动粉丝的数量?

1 个答案:

答案 0 :(得分:2)

尝试使用selenium代码,如下所示:

from selenium import webdriver

driver = webdriver.Firefox()
driver.get('http://freelegalconsultancy.blogspot.co.uk/')
driver.switch_to_frame(driver.find_element_by_xpath('//div[@id="followers-iframe-container"]/iframe'))
followers_text = driver.find_element_by_xpath('//div[@class="member-title"]').text
followers = int(followers_text.split('(')[1].split(')')[0])

最后一行有点粗鲁,所以如果你愿意,你可以改变它