如何使用BeautifulSoup刮擦桌子?

时间:2019-11-01 20:55:12

标签: python web-scraping beautifulsoup python-requests

我正在尝试从以下网页抓取表格:https://fantasy.premierleague.com/statistics

当我检查网页时,可以看到该结构类似于以下内容:

<table>
    <tbody>
        <tr>
            <td>...</td>
            <td>...</td>
        </tr>
    </tbody>
</table>

我在查找表格或BS4的任何内容时遇到麻烦。当我使用以下代码时,输​​出只是“ None”。

from bs4 import BeautifulSoup
import requests

url = 'https://fantasy.premierleague.com/statistics'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

print(soup.find('table'))
print(soup.find('tbody'))
print(soup.find('tr'))
print(soup.find('td'))

有人可以帮助我/就如何解决此问题提供建议吗? 非常感谢!!!

1 个答案:

答案 0 :(得分:2)

该页面向https://fantasy.premierleague.com/api/bootstrap-static/发出xhr请求,并以json的形式获取您在表中看到的信息。