如何连接pandas.read_html的结果列表

Question

我可以使用下面的代码从一个网址打印/获取 CSV 数据框

import bs4 as bs
import pandas as pd

dfs = pd.read_html('http://www.url1.com',header=0)


for df in dfs:
    print(df.head())
df.to_csv('File.csv')

我想将多个数据帧连接在一起。

• http://www.url1.com
中的dataframe1 来自http://www.url2.com 的
• dataframe2
• ...
来自http://www.urlN.com 的
• dataframeN

将所有数据框合并为一个数据框并将其导出到＆＃39; file.csv＆＃39;。

Answer 1

您可以使用pandas.concat来连接数据框：

import pandas as pd

urls = ['http://www.url1.com',
        'http://www.url2.com',
        'http://www.url3.com']

df = pd.concat([pd.concat(pd.read_html(url, header=0), axis=0) for url in urls], axis=0)

df.to_csv('file.csv')

<强>解释

• pd.concat连接数据框列表。
• pd.read_html返回数据框列表。
• 因此，要连接数据帧列表列表，即pd.read_html输出列表，您需要使用嵌套pd.concat。