Question

我的数据集如下：

IM,XX
IS,YY
SG,3
OTPL,90
TTPL,90
IM,AA
IS,BB
SG,3
TTPL,50
IM,ZZ
IS,CC
OTPL,10

每一行都包含key,value对，我需要将其转换为表格格式才能执行某些分析。 IM变量表示行的索引，下面的参数是列。对我来说棘手的部分是考虑可能的缺失值。预期结果是：

IM  IS  OTPL    SG  TTPL  
XX  YY    90     3    90    
AA  BB  null     3    50    
ZZ  CC    10  null  null

“请注意空值”。

我有一个解决方案，但效率不高，当数据集很大时，这不是一个合适的方法。我使用以下策略：

使用awk，为每个寄存器（行）添加额外的索引。它会创建一个计数器n并在出现IM时递增它：

$ awk -F, 'BEGIN{n = 0}{ if($1 == "IM"){n += 1} print n","$0}' inputdata.txt
1,IM,XX
1,IS,YY
1,SG,3
1,OTPL,90
1,TTPL,90
2,IM,AA
2,IS,BB
2,SG,3
2,TTPL,50
3,IM,ZZ
3,IS,CC
3,OTPL,10

接下来，使用pandas阅读上一个结果，通过上述索引应用groupby并创建一个将concat应用于pivot个子表的新表：

In[1]:import pandas as pd
      gb = pd.read_csv("outdata.txt", names = ["id","key","value"]).groupby("id")
      res = pd.concat([df.pivot(index="id", columns='key', values='value') for g, df in gb])
      res
Out[1]: 
    IM  IS OTPL   SG TTPL
id                       
1   XX  YY   90    3   90
2   AA  BB  NaN    3   50
3   ZZ  CC   10  NaN  NaN

最后一步非常昂贵。

有没有人有类似的问题？只用命令行解决这个问题会很好。

提前致谢！

Answer 1

[更新]纯GAWK解决方案：

BEGIN {
    FS=OFS=","
    n = 0
}
{
    if($1 == "IM") {
        n++
    }
    keys[$1]++
    vals[n,$1]=$2
}
END {
    l=asorti(keys, copy)
    printf "id"
    for (i=1; i<=l; i++) {
        printf "%s%s", FS, copy[i]
    }
    print ""

    for (i=1; i<=n; i++) {
        printf "%s", i
        for (k=1; k<=l; k++) {
            printf "%s%s", FS, vals[i,copy[k]] 
        }
        print ""
    }
}

输出：

{ .data }  » awk -f prg.awk data.csv
id,IM,IS,OTPL,SG,TTPL
1,XX,YY,90,3,90
2,AA,BB,,3,50
3,ZZ,CC,10,,

[OLD]熊猫解决方案：

我认为您可以使用pivot_table()代替groupby() + concat()：

In [105]: df
Out[105]:
    id   key val
0    1    IM  XX
1    1    IS  YY
2    1    SG   3
3    1  OTPL  90
4    1  TTPL  90
5    2    IM  AA
6    2    IS  BB
7    2    SG   3
8    2  TTPL  50
9    3    IM  ZZ
10   3    IS  CC
11   3  OTPL  10

In [106]: df.pivot_table(index='id', columns='key', values='val', aggfunc='sum', fill_value=np.nan)
Out[106]:
key  IM  IS OTPL   SG TTPL
id
1    XX  YY   90    3   90
2    AA  BB  NaN    3   50
3    ZZ  CC   10  NaN  NaN

或pivot()如果您没有重复项（例如样本数据集）：

In [109]: df.pivot(index='id', columns='key', values='val')
Out[109]:
key  IM  IS  OTPL    SG  TTPL
id
1    XX  YY    90     3    90
2    AA  BB  None     3    50
3    ZZ  CC    10  None  None

与NaN s相同而不是None s：

In [110]: df.pivot(index='id', columns='key', values='val').fillna(np.nan)
Out[110]:
key  IM  IS OTPL   SG TTPL
id
1    XX  YY   90    3   90
2    AA  BB  NaN    3   50
3    ZZ  CC   10  NaN  NaN

Answer 2

def my_transform(infile, outfile):
    df = pd.read_csv(infile, header=None, sep=",", names=['id', None])
    df = df.groupby([(df.id == 'IM').cumsum(), 'id']).first().unstack()
    df.columns = df.columns.droplevel()
    df.to_csv(outfile, index=None)

infile = "..."
outfile = "..."
my_transform(infile, outfile)

>>> !cat "..."  # outfile
IM,IS,OTPL,SG,TTPL
XX,YY,90,3,90
AA,BB,,3,50
ZZ,CC,10,,

此groupby的关键是对(df.id == 'IM').cumsum()进行分组，这意味着第一列中出现的“IM”描述了一个新组。 my_transform函数接受输入文件，将其转换为所需的输出，然后将结果保存回文件。

df['group'] = (df.id == 'IM').cumsum()
>>> df
      id NaN  group
0     IM  XX      0
1     IS  YY      0
2     SG   3      0
3   OTPL  90      0
4   TTPL  90      0
5     IM  AA      1
6     IS  BB      1
7     SG   3      1
8   TTPL  50      1
9     IM  ZZ      2
10    IS  CC      2
11  OTPL  10      2

Answer 3

Many thanks to @Alexander and @MaxU for your comments.

The awk pure solution had a slightly better performance than pandas. The below result was obtained with a 35500 rows dataset:

# initial solution (pandas + awk)
In [2]: %timeit ej_f_pandas()
1 loops, best of 3: 1min 14s per loop

# maxu's solution (pandas + awk)
In [3]: %timeit maxu_pandas()
1 loops, best of 3: 697 ms per loop

# alexander's solution (pandas)
In [4]: %timeit alexander_pandas()
1 loops, best of 3: 518 ms per loop

# maxu's solution (awk)
In [5]: %timeit maxu_awk()
1 loops, best of 3: 499 ms per loop

处理单列文本文件中的缺失数据

3 个答案: