如何使用Python从统计跟踪网站(cod.tracker.gg)抓取正确的元素

时间:2020-10-25 20:34:18

标签: python html web-scraping statistics

this特定页面(或任何“匹配”页面)上,可以选择一些名称来查看匹配的单个统计信息。我该如何使用网络抓取来获取“杀手”统计信息?

在大多数教程中,我使用网络抓取似乎很简单。但是,在检查此站点(特别是“杀伤力”项)时,您会看到类似

问题1.)什么是“ data-v-71c3e2a1”?我从未在html,css或网络抓取教程中看到过类似的内容。它在整个网站上以不同的形式出现。

问题2。)更重要的是,我如何掌握本节中的杀戮次数?我曾尝试使用xpath抓取和抓取:

草皮壳https://cod.tracker.gg/warzone/match/1424533688251708994?handle=PatrickPM

response.xpath(“ // * [@ id =” app“] / div [3] / div [2] / div / main / div [3] / div [2] / div [2] / div [6] / div [2] / div [3] / div [2] / div [1] / div / div [1] / span [2]“)。get()

但这会引发语法错误

response.xpath(“ // * [@ id =” app“]

SyntaxError:语法无效

通过response.css(“”)。get()进行抓取也很困难。我应该使用硒吗?还是只是常规请求/ bs4?我无能为力。

谢谢。

1 个答案:

答案 0 :(得分:1)

这是否返回您需要的数据?

import requests


endpoint = "https://api.tracker.gg/api/v1/warzone/matches/1424533688251708994"
r = requests.get(endpoint, params={"handle": "PatrickPM"})
data = r.json()["data"]

无论如何,我建议使用API​​。比使用BeautifulSoup或硒容易得多。

相关问题