将一个csv文件中的列替换为其他csv文件

时间:2013-02-08 10:18:49

标签: unix join sed awk

我有一个包含以下数据的csv文件。 (,分开)

C1,C2,C3,C4
1,2,3,4
5,6,7,8

现在我有其他映射csv文件,如下所示

D1,D2
1,X
5,Y

这里我想在第二个csv文件中找到映射并在第一个csv文件中更新它的值。

预期输出(如果我想在第一个csv文件中更新C3对第二个映射文件中的两个记录)

C1,C2,C3,C4
1,2,X,4
5,6,Y,8

4 个答案:

答案 0 :(得分:0)

使用GNU sed:

sed '1d;s%^%/^%;s%,%/s/^([^,]+,[^,]+,)[^,]+/\\1%;s%$%/%' file2 | sed -rf- file1

第一部分将第二个文件转换为可应用于file1的sed脚本。

答案 1 :(得分:0)

这可能适合你(GNU sed):

sed -r 's|^([^,]*,)(.*)|/^\1/s/[^,]+/\2/3|' file2 | sed -rf - file1

答案 2 :(得分:0)

这是使用awk的一种方式。像:

一样运行
awk -f script.awk mapping data

script.awk的内容:     开始 {         FS = OFS = “”     }

NR==1 {
    next
}

FNR==NR {
    a[$1]=$2
    next
}

FNR>1 {
    $3 = a[$1]
}1

结果:

C1,C2,C3,C4
1,2,X,4
5,6,Y,8

或者,这是一个班轮:

awk -F, 'NR==1 { next } FNR==NR { a[$1]=$2; next } FNR>1 { $3 = a[$1] }1' OFS="," mapping data

答案 3 :(得分:0)

使用pandas以UUID值替换PATID值

-- a.csv
PATID, ADMIT_DATE, ENC_TYPE
pat_1,2011-01-01, AV
pat_2,2012-01-01, IP
pat_3,2013-01-01, EI


-- b.csv
PATID,UUID
pat_1, uuid_xyz
pat_2, uuid_123
pat_3, uuid_abc

- replace.py

import pandas as pd

source_file = 'a.csv'
linkage_file = 'b.csv'
out_file = 'c.csv'


def get_linked_frame(source_file, linkage_file):
    df_source = pd.read_csv(source_file, sep=',',
                            dtype=object,
                            skipinitialspace=True,
                            )
    df_linkage = pd.read_csv(linkage_file, sep=',',
                             dtype=object,
                             skipinitialspace=True,
                             )
    df = pd.merge(df_source, df_linkage, on='PATID')
    print("Source frame: \n{}".format(df_source))
    df['PATID'] = df['UUID']
    df.drop('UUID', axis=1, inplace=True)
    return df


df = get_linked_frame(source_file, linkage_file)
df.to_csv(out_file, sep='\t', index=False)
print("Output frame: \n{}".format(df))

-- c.csv
PATID   ADMIT_DATE  ENC_TYPE
uuid_xyz    2011-01-01  AV
uuid_123    2012-01-01  IP
uuid_abc    2013-01-01  EI