web scrapping espn fantasy bs4 find返回nonetype

Question

嘿，这对python来说比较新，试试我的第一个关于一些幻想足球数据的网络报废项目。我一直遇到使用bs4时无法找到表数据的问题。我搜遍了谷歌，到目前为止唯一有用的链接是这一个： Python - Using BeautifulSoup to scrape an ESPN table。 所以我试着让我的代码适应他用于幻想篮球的东西（效果很好），但仍然得到了NoneType。继承人代码：

import requests, bs4
url = 'http://games.espn.com/ffl/freeagency?leagueId=1613008&seasonId=2017'
r = requests.get(url)
soup = bs4.BeautifulSoup(r.text, 'lxml')

table = soup.find(id = "playertable_0")
#rows = table.find_all(class_=["tableBody sortableRow"])
#rows = iter(rows)
#for row in rows:
#    data = [td.text for td in row.find_all('td') if td.text]
#    print(data)
print type(table)

现在注释掉一些代码。我似乎无法弄清楚为什么当我刮掉那些家伙梦幻篮球桌但它不会在我的梦幻足球场上工作时它起作用。希望我对此表示感谢。

Answer 1

您的代码无法正常工作的原因是，当美丽的汤加载网页时，会显示一个登录表单。您可以使用浏览器查看该页面，因为您已经登录ESPN但不能使用BeautifulSoup。

可能的解决方案

我建议使用use of using namespace std masks that fact加载网站，登录，然后转到要删除的页面。我几乎可以肯定BeautifulSoup不能。

以下是一些可能有助于使用硒的资源：

• selenium

• Selenium Docs