如何在Python中打开多个链接并从这些链接中提取表格数据？

Question

所有第一行的元素都是指向我需要获取信息的后续页面的链接。主要问题是在python中打开这些链接。我需要稍后将该信息打印到csv文件。 Here is image how it looks。 如何在Python中打开多个链接？感谢

Answer 1

requests和beautifulsoup可以轻松完成工作

import requests
from bs4 import BeautifulSoup


page = requests.get('http://firstpage.com/').text
soup = BeautifulSoup(page, 'html.parser')
links = soup.find_all('a')
for link in links:
    print(link['href'])

http://docs.python-requests.org/en/master/ https://www.crummy.com/software/BeautifulSoup/bs4/doc/