Question

我有一个包含2级列过滤器的数据透视表。

输出数据透视如下：

现在我正在尝试获取类型之间的差异，使得预期输出看起来像这样：

table_pivot = pandas.pivot_table(table_raw, values='PRICE', index=['DATE', 'HOUR'],
                             columns=['TYPE', 'ID'], aggfunc= numpy.mean, fill_value= 0)

我认为它会是这样的：

TYPE                 type X         type Y
ID                  X1  X2  X3     Y1  Y2  Y3  Y4
DATE      HOUR 
1/1/2015  1       10  20  30     20  40  60  80
1/1/2015  2       20  40  60     10  50  70  90

但似乎它不起作用。如何创建新表以区分所有可能的X-Y组合？

更新：我尝试了以下几行。但是，我一直收到Z Y1 - X1 Y1 - X2 Y1 - X3 Y1 - X1 Y2 - X1 .... Date Hour 1/1/2015 1 10 20 30 40 30 ... 1/1/2015 2 -10 30 50 70 -30 ...消息。有谁知道如何解决这个问题？

table_pivot['Z'] = table_pivot['Y'] - table['X']

Answer 1

多索引切片，sub（）和concat的情况。

df = pd.DataFrame({('Y', 'Y4'): {('1/1/2015', 2L): 90, ('1/1/2015', 1L): 80}, ('X', 'X1'): {('1/1/2015', 2L): 20, ('1/1/2015', 1L): 10}, ('X', 'X2'): {('1/1/2015', 2L): 40, ('1/1/2015', 1L): 20}, ('X', 'X3'): {('1/1/2015', 2L): 60, ('1/1/2015', 1L): 30}, ('Y', 'Y3'): {('1/1/2015', 2L): 70, ('1/1/2015', 1L): 60}, ('Y', 'Y1'): {('1/1/2015', 2L): 10, ('1/1/2015', 1L): 20}, ('Y', 'Y2'): {('1/1/2015', 2L): 50, ('1/1/2015', 1L): 40}})
df.columns = pd.MultiIndex.from_tuples([('X','X1'), ('X','X2'), ('X','X3'),('Y','Y1'), ('Y','Y2'), ('Y','Y3'), ('Y', 'Y4')])
df.index.names = ['DATE','ID']
print df


              X           Y            
             X1  X2  X3  Y1  Y2  Y3  Y4
DATE     ID                            
1/1/2015 1   10  20  30  20  40  60  80
         2   20  40  60  10  50  70  90


idx = pd.IndexSlice
collection = []
for tup in filter(lambda x: x[0] == "Y", df.columns.tolist()):
    foo = -1 * df.loc[:,idx['X',:]].sub(df.loc[:,tup],axis=0)
    foo.columns = [str(tup[1]) + '-' + col for col in foo.columns.get_level_values(1)]
    collection.append(foo)

print pd.concat(collection,axis=1)


             Y1-X1  Y1-X2  Y1-X3  Y2-X1  Y2-X2  Y2-X3  Y3-X1  Y3-X2  Y3-X3  Y4-X1  Y4-X2  Y4-X3
DATE     ID                                                                                    
1/1/2015 1      10      0    -10     30     20     10     50     40     30     70     60     50
         2     -10    -30    -50     30     10    -10     50     30     10     70     50     30

Answer 2

可能更好的方法是为每个变量使用时间序列数据帧，然后创建另一个数据框，其中包含变量之间的差异。

data = pd.read_csv('file_path', index_column)

#assuming data is in date-time format
data.index() = pd.to_datetime(data.index())

xvars = data.type['X']
yvars = data.type['Y']

然后使用相同的for循环逻辑来获取Yi-Xi并将其存储在新的数据帧中。

通过保持对象简单，不会抛出内存错误。

pandas pivot table，通过获取多列的差异来创建表

2 个答案: