在标签BeautifulSoup4之间获取文本

时间:2016-03-30 20:23:21

标签: python html python-3.x web-scraping bs4

我试图刮掉99damage顶级CS:GO播放器列表,我在获取播放器名称方面遇到了问题。

<a href="http://csgo.99damage.de/edb/player/4151-krimz" class="item small">
    <span stype="width:80px;"> 1. </span>
    <span style="width: 280px;">
        <img src="https://cdn1.gamesports.net/img/flags/se.gif" border="0" alt="se" title="Sweden">
        " KRiMZ "
    </span>

“KRiMZ”是我在这种情况下尝试获得的玩家名称,但还有许多其他名称,所以我不能只搜索KRiMZ。我在网上搜索解决方案,但没有找到解决我问题的解决方案。

1 个答案:

答案 0 :(得分:1)

我会使用CSS selector(基于玩家资料网址的player部分)找到每个玩家元素,然后找到里面的前2个跨度 - 第一个是排名,第二个是 - 用户名:

for player in soup.select("#content a[href*="player/"]"):
    rank, name = player.find_all("span")[:2]
    print(rank.get_text(strip=True), name.get_text(strip=True))

这是我正在执行的完整代码:

import requests
from bs4 import BeautifulSoup

url = "http://csgo.99damage.de/de/edb/players"
response = requests.get(url, headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"})

soup = BeautifulSoup(response.content, "html.parser")
for player in soup.select('#content a[href*="player/"]'):
    rank, name = player.find_all("span")[:2]
    print(rank.get_text(strip=True), name.get_text(strip=True))

打印:

1. KRiMZ
2. olofmeister
3. JW
4. flusha
5. dennis
6. dev1ce
7. dupreeh
8. Xyp9x
9. Karrigan
10. cajunb
11. friberg
12. GeT_RiGhT
13. f0rest
14. Xizt
15. flamiE
16. GuardiaN
17. seized
18. Edward
19. Zeus
20. kioShiMa
21. pronax
22. Happy
23. NBK