Python BeautifulSoup无法在页面源中找到数据

时间:2014-03-06 03:50:12

标签: python beautifulsoup

在这个网站上我可以看到我想要的数据,当我检查元素时,我发现它,但它不在页面源中,所以我无法抓住它:

import requests
from bs4 import BeautifulSoup, Tag
from lxml import html
import requests
import MySQLdb
import urllib2
import itertools
import re
import sys
from datetime import date, timedelta as td


urls =("http://euw.lolesports.com/tourney/match/1833")
hdr = {'User-Agent': 'Mozilla/5.0'}
req = urllib2.Request(urls,headers=hdr)
page = urllib2.urlopen(req)
soup = BeautifulSoup(page)
tournament=soup.findAll('div',{'class':['field-item even']})
print tournament
print soup.title.text
match_time=soup.findAll('span',{'class':['local-time']})
for tag in match_time:
    time=tag.get('datetime',None)
    if time !=None:
        print time
vid = soup.findAll('iframe',{'class':['media-youtube-player']})
for tag in vid:
    vidlink=tag.get('href',None)
    if vidlink !=None:
        print vidlink
teams=soup.findAll('h5',{'class':['team-name']})
for tag in teams:
    tag.replaceWith('')
    print (tag.string)
    print soup.findAll('span',{'class':['winner-holder']})

我能够检索标题和团队但是其他一切都没有运气,当我点击每个元素来检查它时我可以看到那里的数据,但是当我查看页面源时它们是空标签这就是为什么我我想我没有得到任何结果。 有办法克服这个问题吗?

0 个答案:

没有答案