Question

第一个问题在这里！

我正在抓取一个体育网页，该网页将每个运动员的个人资料页面组成为页面名称 +“运动员的名字”+“-”+“运动员的姓氏”。我正在使用 python。

我正在使用 requests 函数，因为它是一个 https 类型的 url，我正在运行下面的代码。我想抓取页面以查找每个运动员的 W/L 比率、首选获胜方法等。我发现的问题是，无论出于何种原因，该页面都没有包含每个运动员的个人资料以及反映他们职业生涯的表格，只有部分运动员这样做。

import requests
my_header = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36", "X-Requested-With": "XMLHttpRequest" }
html_page_text = requests.get('https://www.bjjheroes.com/a-z-bjj-fighters-list',my_header)
all_athletes = pd.read_html(html_page_text.text);

for i in range(len(all_athletes)):
    url=('https://www.bjjheroes.com/bjj-fighters/' + table_heroes[0]['First Name'][i].lower() + '-' + 
         table_heroes[0]['Last Name'][i].lower())
    request = requests.get(url)

if request.status_code == 200:
    my_header = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) 
                 Chrome/50.0.2661.75 Safari/537.36", "X-Requested-With": "XMLHttpRequest" }
    html_page_text = requests.get(url,my_header)
    table_heroes.append(pd.read_html(html_page_text.text))

所以我已经提取了每个运动员姓名的列表（称为 all_athletes），并且我正在运行一个循环来组成名称以输入他们的网站并从表格中提取数据，但有些运动员没有他们页面上的任何内容，所以当我浏览列表时，错误不断弹出，我必须逐个手动将它们从运动员身上取出。

有没有什么办法可以在运行代码之前检查一个网站是否有表格以避免错误？

Answer 1

使用try/except。我还修复了代码中的其他一些小问题：

import requests
import pandas as pd

my_header = { "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36", "X-Requested-With": "XMLHttpRequest" }
html_page_text = requests.get('https://www.bjjheroes.com/a-z-bjj-fighters-list',my_header)
all_athletes = pd.read_html(html_page_text.text)[0]

table_heroes = pd.DataFrame()
for idx, row in all_athletes.iterrows():
    url=('https://www.bjjheroes.com/bjj-fighters/' + row['First Name'].lower() + '-' + row['Last Name'].lower())
    request = requests.get(url, my_header)

    try:
        html_page_text = requests.get(url,my_header)
        temp_df = pd.read_html(html_page_text.text)[0]
        temp_df['Athlete'] = row['First Name'] + ' ' + row['Last Name']
        table_heroes = table_heroes.append(temp_df, sort=False)
        print('Collected: %s %s' %(row['First Name'],row['Last Name']))

    except Exception as e:
        print(e)

在循环中抓取 html 时没有表格

1 个答案: