使用 python 和 requests_html 抓取使用 javascript 呈现的站点

时间:2021-07-28 04:06:48

标签: python web-scraping python-requests-html

对于个人非商业用途,我希望能够使用 python 从 dappradar 中提取用户计数数据。我尝试使用 requests_html 库中的几种方法,但无法达到预期的结果。有没有办法使用 requests_html 或其他库提取用户数据?

作为第一步,我尝试了以下代码,目的是创建一个包含用户计数元素(以及其他元素)的元素列表。但是,此代码(以及我使用不同方法尝试过的所有其他版本)会生成一个空列表。据推测,如果我可以正确地填充列表,我就可以打印每个元素的文本以获得感兴趣的数量,即用户数。

    from requests_html import HTMLSession

    session = HTMLSession()

    resp = session.get("https://dappradar.com/ethereum/games/axie-infinity")

    resp.html.render()

    containers = resp.html.find("div",containing="article-page__stats-container article- 
    page__stats-container-enabled")

    print(containers)

我欢迎任何关于推进这种方法的建议,但我也愿意接受替代方法。

0 个答案:

没有答案
相关问题