我正在学习 Python,我正在尝试创建一个函数来从几个不同的网页中抓取疫苗接种率表 - 我们的世界数据 https://github.com/owid/covid-19-data/tree/master/public/data/vaccinations/country_data 和 https://ourworldindata.org/about 的 github 存储库。当网络抓取单个表并将其保存到数据框中时,该代码运行良好...
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = "https://github.com/owid/covid-19-data/blob/master/public/data/vaccinations/country_data/Bangladesh.csv"
response = requests.get(url)
response
scraping_html_table_BD = BeautifulSoup(response.content, "lxml")
scraping_html_table_BD = scraping_html_table_BD.find_all("table", "js-csv-data csv-data js-file-line-container")
df = pd.read_html(str(scraping_html_table_BD))
BD_df = df[0]
但是在尝试创建一个抓取多个页面的函数时,我的运气并不好。我一直在关注本网站 3 上“使用一个脚本抓取多个页面”部分中的教程以及其他页面中的诸如 4 和 5 之类的 StackOverflow 问题。我曾尝试先创建一个全局变量,但最终出现了诸如“递归错误:调用 Python 对象时超出了最大递归深度”之类的错误。这是我管理的最好的代码,因为它不会产生错误,但我没有设法将输出保存到全局变量。非常感谢您的帮助。
import pandas as pd
from bs4 import BeautifulSoup
import requests
link_list = ['/Bangladesh.csv',
'/Nepal.csv',
'/Mongolia.csv']
def get_info(page_url):
page = requests.get('https://github.com/owid/covid-19-data/tree/master/public/data/vaccinations/country_data' + page_url)
scape = BeautifulSoup(page.text, 'html.parser')
vaccination_rates = scape.find_all("table", "js-csv-data csv-data js-file-line-container")
result = {}
df = pd.read_html(str(vaccination_rates))
vaccination_rates = df[0]
df = pd.DataFrame(vaccination_rates)
print(df)
df.to_csv("testdata.csv", index=False)
for link in link_list:
get_info(link)
编辑:我可以查看保存到 csv 文件时迭代的最终网页,但不能查看上述链接中的数据。
new = pd.read_csv('testdata6.csv')
pd.set_option("display.max_rows", None, "display.max_columns", None)
new
答案 0 :(得分:0)
这是因为在每次迭代中,您的“testdata.csv”都会被一个新的覆盖。 所以你可以这样做: df.to_csv(page_url[1:], index=False)
答案 1 :(得分:0)
我猜你每次都会覆盖你的“testdata.csv”,因此你可以看到最后一页。每次抓取页面时,我都会添加一个枚举函数来为单独的 csv 添加一个标识符,例如:
for key, link in enumerate(link_list):
get_info(link, key)
...
df.to_csv(f"testdata{key}.csv", index=False)
或者,打开此 csv 作为 get_info 函数的一部分,其步骤在 append new row to old csv file python 中可用。