Question

我正在尝试从多个URL抓取表数据。我要查找的表是特定的，当将.find_all与BeautifulSoup结合使用时，我已对其进行索引。例如，当我在一个URL上执行脚本时，它可以正常工作并返回我要查找的表。当我使用for循环从多个URL抓取表格并将它们附加到一个数据帧中时，就会出现问题。

new_table=pd.DataFrame(columns=range(0,10), index=[0])

k=0
for k in range(0, 11200):
    response=requests.get(urls[k])
    htmls=response.text
    soup=BeautifulSoup(htmls, 'html.parser')

    table=soup.find_all("table")[4]
    row_marker=0
    rows=table.find_all("tr")

    for row in rows:
        column_marker=0
        columns=row.find_all("td")

        for column in columns:
            new_table.iat[row_marker, column_marker]=column.get_text()
            column_marker += 1

    row_marker += 1
    k += 1

new_table

错误：

IndexError                                Traceback (most recent call last)
<ipython-input-132-13c30de3ad5a> in <module>()
      5     soup=BeautifulSoup(htmls, 'html.parser')
      6 
----> 7     table=soup.find_all("table")[4]
      8     row_marker=0
      9     rows=table.find_all("tr")

IndexError: list index out of range

Answer 1

不要在设置索引表之前直接添加检查

table = soup.find_all("table")
if len(table) < 5:
    print('no table[4], skip')
    continue
row_marker = 0
rows = table[4].find_all("tr")

我无法使用for循环和BeautifulSoup从多个URL抓取表格数据

1 个答案: