Question

这是一个多部分的问题。我似乎无法把所有东西组合在一起。目标是创建一个我可以访问的DataFrame（使用MultiIndex猜测），如下所示：

ticker = 'GOLD'
date = pd.to_datetime('1978/03/31')
current_bar = df.ix[ticker].ix[date]

我可以说：current_bar.Last？

无论如何，这是文件，以及我如何加载它们。

In [108]: df = pd.read_csv('GOLD.csv', parse_dates='Date', index_col='Date')
In [109]: df
Out[109]: 
            Exp       Last     Volume
Date
1978-03-30  198002    995.6    54
1978-03-31  198002    999.5    78

In [110]: df2 = pd.read_csv('SPX.csv', parse_dates='Date', index_col='Date')
In [111]: df2
Out[111]: 
            Exp       Last     Volume
Date
1978-03-30  198003    215.5    25
1978-03-31  198003    214.1    99

理想情况下，我希望它看起来像这样（我认为）：

ticker      GOLD                            SPX
values      Exp       Last     Volume       Exp       Last     Volume
Date
1978-03-30  198002    995.6    54           198003    215.5    25
1978-03-31  198002    999.5    78           198003    214.1    99

我想我的问题是：
- 如何制作此分层（实际数据每个文件有20多个相同的列）
- 我如何组合文件（我有大约100个需要全部进入1个DataFrame）
- 我的假设是否正确，我可以这样做：current_bar.Last获取值？

非常感谢。

Answer 1

您可以使用pd.concat 连接 DataFrames。（连接将DataFrames一起刷新，而合并基于公共索引或列加入DataFrames）。当您提供keys参数时，您将获得分层索引：

import pandas as pd
df = pd.read_csv('GOLD.csv', parse_dates='Date', index_col='Date', sep='\s+')
df2 = pd.read_csv('SPX.csv', parse_dates='Date', index_col='Date', sep='\s+')
result = pd.concat([df, df2], keys=['GOLD', 'SPX'], names=['ticker']).unstack('ticker')
result = result.reorder_levels([1, 0], axis=1).sortlevel(level=0, axis=1)
print(result)

产量

ticker        GOLD                    SPX               
               Exp   Last  Volume     Exp   Last  Volume
Date                                                    
1978-03-30  198002  995.6      54  198003  215.5      25
1978-03-31  198002  999.5      78  198003  214.1      99

result['Last']生成DataFrame：

In [147]: result['Last']
Out[147]: 
ticker       GOLD    SPX
Date                    
1978-03-30  995.6  215.5
1978-03-31  999.5  214.1

我建议避免使用result.Last语法，因为它太靠近result.last，后者会返回一个DataFrame方法。

要处理更多文件，您可以使用以下代码：

import pandas as pd
dfs = list()
for filename in filenames:
    df = pd.read_csv(filename, parse_dates='Date', index_col='Date')
    # compute moving_mean
    dfs.append(df)

keys = [filename[:-4] for filename in filenames]
result = pd.concat(dfs, keys=keys, names=['ticker']).unstack('ticker')

请注意，这确实需要足够的内存来保存内存中所有DataFrame的列表以及足以容纳result的内存。

pandas - 合并多个DataFrame

1 个答案: