连接多个数据框时保留原始分类映射

时间:2018-11-26 10:42:45

标签: python pandas dataframe join categorical-data

我有n个数据帧,每个数据帧都有一列,其数据类型为category。不同框架的列具有部分重叠。我想在将列连接到新框架后共享列之间的类别-> ID映射:

In [362]: af = pd.DataFrame(pd.Series(['a1','a2', 'b1'], dtype="category", name='a'))

In [365]: bf = pd.DataFrame(pd.Series(['b1','b2', 'a1'], dtype="category", name='b'))

In [373]: all_categories = pd.Categorical(['a1','a2','b1','b2'])

In [376]: show_mapping(af.a)
[('a1', 0), ('a2', 1), ('b1', 2)]

In [377]: af.a.cat =  all_categories

In [378]: show_mapping(af.a)
[('a1', 0), ('a2', 1), ('b1', 2), ('b2', 3)]

In [379]: show_mapping(bf.b)
[('b2', 0), ('a1', 1), ('b1', 2)]

In [380]: bf.b.cat =  all_categories

In [381]: show_mapping(bf.b)
[('a1', 0), ('a2', 1), ('b1', 2), ('b2', 3)]

现在,我将这些框架与现在假定是相同的映射一起加入:

In [382]: df = af.join(bf)

但是当我打印列的映射时,它们会重置:

In [384]: show_mapping(df.a)
[('a1', 0), ('a2', 1), ('b1', 2)]

In [385]: show_mapping(df.b)
[('b2', 0), ('a1', 1), ('b1', 2)]

为什么在加入框架后会自动重做映射,我如何实现我的预期?


def show_mapping(x):
    print(list(sorted(zip(x.cat.categories, x.cat.codes), key=lambda x : x[1])))

编辑

所有困惑都来自使用不良表演功能。下面的show函数实际上可以正常工作。结合使用set_categories方法而不是.cat = ...方法,一切都会正确进行:

def show_mapping(s):
    print([(e, s.cat.codes[i]) for i, e in enumerate(s)])

1 个答案:

答案 0 :(得分:1)

您可以使用all_categories中的set_categories在每个类别列中使用相同的类别,因此在join之后获得相同的代码:

af = pd.DataFrame(pd.Series(['a1','a2', 'b1'], dtype="category", name='a'))
bf = pd.DataFrame(pd.Series(['b1','b2', 'a1'], dtype="category", name='b'))

def show_mapping(x): 
    return (list(sorted(zip(x.cat.categories, x.cat.codes), key=lambda x : x[1]))) 

print(af.a)
0    a1
1    a2
2    b1
Name: a, dtype: category
Categories (3, object): [a1, a2, b1]

all_categories = pd.Categorical(['a1','a2','b1','b2'])

af.a = af.a.cat.set_categories(all_categories)
bf.b = bf.b.cat.set_categories(all_categories)

添加了类别b2

print(af.a)
0    a1
1    a2
2    b1
Name: a, dtype: category
Categories (4, object): [a1, a2, b1, b2]

print(show_mapping(af.a))
[('a1', 0), ('a2', 1), ('b1', 2)]

print(show_mapping(bf.b))
[('b1', 0), ('a1', 2), ('a2', 3)]

df = af.join(bf)

print(show_mapping(df.a))
[('a1', 0), ('a2', 1), ('b1', 2)]

print(show_mapping(df.b))
[('b1', 0), ('a1', 2), ('a2', 3)]