我正在尝试从WhoScored.com中提取一些数据。
我正在使用selenium来获取页面源,然后使用BeautifulSoup来导航DOM,但无法从中获取任何内容。
以下代码:
#Importing the Libraries
from selenium import webdriver
from bs4 import BeautifulSoup #For scraping
#Open the Home Page of WhoScored.com
driver =webdriver.Firefox()
driver.get('https://www.whoscored.com/')
main_soup=BeautifulSoup(driver.page_source)
#print main_soup
result_tags=main_soup.select(".detailed-tournaments")
print result_tags
我将result_tags设为“[]”。无法弄清楚出了什么问题。我仍然是Python的新手。请帮忙。
答案 0 :(得分:1)
似乎是解析器损坏的情况。无法获得更多详细信息,但代码工作正常:
main_soup=BeautifulSoup(driver.page_source,'html.parser')
我正在使用:Python 2.7.2 BeautifulSoup 4.4.1 Selenium版本:2.53.1