从列表列表中创建唯一值的频率表

时间:2018-06-12 13:48:40

标签: python pandas

我有一个列表如下:

test = [['abc','bcd','dce'],['abc','ab','cd'],['cd',be']]

我想获得每个子列表的每个唯一值的频率。例如,第一个子列表具有

abc 1 bcd 1 dce 1 ab 0 ab 0 cd 0 是0

我正在尝试以下内容:

def freq(list_):
    df = []
    for c in list_:
        df_= pd.DataFrame.from_dict(Counter(c), orient = "index")
        df_.index.name = 'motif'
        df_.reset_index(inplace = True)
        df.append(df_)
        print(df_)
    print(df)
    df = reduce(lambda  left,right: pd.merge(left,right,on=[0],
                                    how='outer'), df).fillna('void')
    df = df.T
    df.columns = df.iloc[0]
    df = df.iloc[1:]
    df[df == "void"] = 0
    col_names = sorted(df.columns)
    df = df[col_names]
    vals = df.values
    sums = np.sum(vals, axis = 1)
    freqs = vals / sums[:,None]
    return pd.DataFrame(freqs).T

但它没有用。

我想要的输出是一个数据框,每个唯一值作为列要素,每个子列表作为一行。

如何做到这一点?

编辑:

期望的输出:

   ab  abc  bcd  be  cd  dce
0   0    .33    .33   0   0    .33
1   .33    .33    0   0   .33    0
2   0    0    0   .5   .5    0

2 个答案:

答案 0 :(得分:1)

由于您标记了pandas,因此pandas get_dummies

有一个解决方案
pd.DataFrame(test).stack().str.get_dummies().sum(level=0)
Out[301]: 
   ab  abc  bcd  be  cd  dce
0   0    1    1   0   0    1
1   1    1    0   0   1    0
2   0    0    0   1   1    0

更新了

s=pd.DataFrame(test).stack().str.get_dummies().sum(level=0)

s.div(s.sum(1),0)
Out[312]: 
         ab       abc       bcd   be        cd       dce
0  0.000000  0.333333  0.333333  0.0  0.000000  0.333333
1  0.333333  0.333333  0.000000  0.0  0.333333  0.000000
2  0.000000  0.000000  0.000000  0.5  0.500000  0.000000

答案 1 :(得分:1)

get_dummiessum

一起使用
df = pd.get_dummies(pd.DataFrame(test), prefix_sep='', prefix='').sum(level=0, axis=1)
print (df)
   abc  cd  ab  bcd  be  dce
0    1   0   0    1   0    1
1    1   1   1    0   0    0
2    0   1   0    0   1    0

Counter使用DataFrame构造函数,将NaN替换为0并转换为integer s:

from collections import Counter

df = pd.DataFrame([Counter(x) for x in test]).fillna(0).astype(int)
print (df)
   ab  abc  bcd  be  cd  dce
0   0    1    1   0   0    1
1   1    1    0   0   1    0
2   0    0    0   1   1    0

然后:

df = df.div(df.sum(axis=1), axis=0)
print (df)
         ab       abc       bcd   be        cd       dce
0  0.000000  0.333333  0.333333  0.0  0.000000  0.333333
1  0.333333  0.333333  0.000000  0.0  0.333333  0.000000
2  0.000000  0.000000  0.000000  0.5  0.500000  0.000000