Question

我尝试将3个csv合并为其他结构，但使用共同的字段。我正在用熊猫来做。

我有3个这样的csv：

csv1

sku;col1;col2;test
123;456;99;A
234;786;99;
345;678;99;A

csv2

sku;col3;col4;test
123;18-123;9999;A
234;18-786;9999;
345;12-678;9999;A

csv3

sku;col5;col6;test
123;18-123;9999;
234;18-786;9999;A
345;12-678;9999;

我的脚本是这样的：

#!/usr/bin/env python
import pandas as pd
import numpy as np

from functools import reduce

a = pd.read_csv("csv1.csv",sep =';', low_memory=False)
b = pd.read_csv("csv2.csv",sep =';', low_memory=False)

a = a.astype('object')
b = b.astype('object')

val = np.intersect1d(a.columns, b.columns).tolist()
merged = a.merge(b, on=val, how='outer')
merged.to_csv("csv1_2.csv",sep=';', index=False)

c = pd.read_csv("csv1_2.csv",sep =';', low_memory=False)
c = c.astype('object')
d = pd.read_csv("csv3.csv",sep =';', low_memory=False)
d = d.astype('object')

val = np.intersect1d(c.columns, d.columns).tolist()
merged = c.merge(d, on=val, how='outer')
merged.to_csv("csv1_2_3.csv",sep=';', index=False)

当我得到像这样的合并的csv时，这真是棒极了：

sku;col1;col2;test;col3;col4;col5;col6
123;456;99;A;18-123;9999;;
234;786;99;A;18-786;9999;18-786;9999
345;678;99;A;12-678;9999;;
123;;;;;;18-123;9999
345;;;;;;12-678;9999

但是有“重复的行”，我想用相同的sku“合并”行以获得这样的最终csv

sku;col1;col2;test;col3;col4;col5;col6
123;456;99;A;18-123;9999;18-123;9999
234;786;99;A;18-786;9999;18-786;9999
345;678;99;A;12-678;9999;12-678;9999

您是否对sku的“合并”行旁边的内容有任何提示？谢谢

Answer 1

使用pd.concat()

df = pd.concat([pd.read_csv(x, sep=';', index_col='sku')
   ...:            for x in ['csv1', 'csv2', 'csv3']], axis=1)

df.loc[:,~df.columns.duplicated()]

     col1  col2 test    col3  col4    col5  col6
sku                                             
123   456    99    A  18-123  9999  18-123  9999
234   786    99    A  18-786  9999  18-786  9999
345   678    99    A  12-678  9999  12-678  9999

根据firts列键合并csv中的重复行

1 个答案: